[論文レビュー] Class-Balanced Loss Based on Effective Number of Samples

Yin Cui, Menglin Jia+3 more|arXiv (Cornell University)|Jan 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 128

ひとこと要約

本論文は、効果的なサンプル数に基づくクラスバランスの損失を長尾データに対処するために導入し、サンプル重み付けを指数的な効果的サンプル数に結びつけ、CIFAR、iNaturalist、ImageNet、およびその他のデータセットでの改善を示す。

ABSTRACT

With the rapid increase of large-scale, real-world datasets, it becomes critical to address the problem of long-tailed data distribution (i.e., a few classes account for most of the data, while most classes are under-represented). Existing solutions typically adopt class re-balancing strategies such as re-sampling and re-weighting based on the number of observations for each class. In this work, we argue that as the number of samples increases, the additional benefit of a newly added data point will diminish. We introduce a novel theoretical framework to measure data overlap by associating with each sample a small neighboring region rather than a single point. The effective number of samples is defined as the volume of samples and can be calculated by a simple formula $(1-β^{n})/(1-β)$, where $n$ is the number of samples and $β\in [0,1)$ is a hyperparameter. We design a re-weighting scheme that uses the effective number of samples for each class to re-balance the loss, thereby yielding a class-balanced loss. Comprehensive experiments are conducted on artificially induced long-tailed CIFAR datasets and large-scale datasets including ImageNet and iNaturalist. Our results show that when trained with the proposed class-balanced loss, the network is able to achieve significant performance gains on long-tailed datasets.

研究の動機と目的

• 実世界の長尾分布におけるデータの重複によって追加データの限界が生じることを動機づけ、モデル化する。
• データの重複を定量化するための有効サンプル数を定義する。
• クラスごとの有効サンプル数の逆数に比例する損失再重み付け項を提案する。
• クラスバランス損失がソフトマックス、シグモイド、およびフォーカル損失の各データセットに適用可能であることを示す。

提案手法

• 有効サンプル数 E_n = (1 - beta^n) / (1 - beta) を beta ∈ [0,1) として定義する。
• データセット全体の N を仮定し、beta = (N-1)/N として各クラスの E_n を計算する。
• クラスバランス重みを 1 / E_{n_i} に比例させ、総和が C になるよう正規化して導入する。
• クラスバランス重み付けを CB 損失として適用する: CB = (1 - beta) / (1 - beta^{n_y}) * L(p, y).
• ソフトマックス クロスエントロピー、シグモイド クロスエントロピー、フォーカル損失の CB バージョンを導出する（CB_softmax、CB_sigmoid、CB_focal）。
• CB_focal は focal loss の alpha_t を (1 - beta)/(1 - beta^{n_y}) に設定することに対応する。

実験結果

リサーチクエスチョン

• RQ1 長尾分布におけるデータの重複を捉えるために有効サンプル数をどのように定義できるか？
• RQ2 有効サンプル数の逆数による再重み付けは、クラス頻度の逆数より性能を向上させるか？
• RQ3 提案されたクラスバランス損失は基底損失関数に依存しないか、ソフトマックス、シグモイド、フォーカル損失のいずれにも適用可能か？
• RQ4 人工的長尾 CIFAR および ImageNet や iNaturalist のような現実世界の大規模データセットで CB 損失はどの程度の改善をもたらすか？

主な発見

• CB 損失は、さまざまな損失関数において長尾データセットで著しい性能向上をもたらす。
• CB_softmax、CB_sigmoid、CB_focal は、長尾 CIFAR 実験で不均衡な対比より改善する。
• beta ≈ 0.999 で gamma が約 0.5–2.0 の CB_focal は iNaturalist と ImageNet で強力な結果を達成する。
• 大規模データでは、CB_focal は iNaturalist でソフトマックスクロスエントロピーを著しく上回り、ImageNet ではベースラインを上回るか同等となる。