[論文レビュー] Distributional Robustness Loss for Long-tail Learning

Dvir Samuel, Gal Chechik|arXiv (Cornell University)|Apr 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 4

ひとこと要約

本論文では、クラス重心回りの不確実性領域内の最悪リスクを最小化することで、長尾データにおける表現学習を向上させる、分布的に頑健な最適化に基づく損失であるDRO-LT損失を提案する。ヘッドクラスへのバイアスを低減しつつヘッドクラスの精度を維持する頑健な表現を学習することで、CIFAR100-LT、ImageNet-LT、iNaturalistベンチマークにおいて、新たなSOTA性能を達成し、特にテイルクラスの認識性能が顕著に向上した。

ABSTRACT

Real-world data is often unbalanced and long-tailed, but deep models struggle to recognize rare classes in the presence of frequent classes. To address unbalanced data, most studies try balancing the data, the loss, or the classifier to reduce classification bias towards head classes. Far less attention has been given to the latent representations learned with unbalanced data. We show that the feature extractor part of deep networks suffers greatly from this bias. We propose a new loss based on robustness theory, which encourages the model to learn high-quality representations for both head and tail classes. While the general form of the robustness loss may be hard to compute, we further derive an easy-to-compute upper bound that can be minimized efficiently. This procedure reduces representation bias towards head classes in the feature space and achieves new SOTA results on CIFAR100-LT, ImageNet-LT, and iNaturalist long-tail benchmarks. We find that training with robustness increases recognition accuracy of tail classes while largely maintaining the accuracy of head classes. The new robustness loss can be combined with various classifier balancing techniques and can be applied to representations at several layers of the deep model.

研究の動機と目的

• 長尾データで訓練されたディープモデルにおける表現バイアス、特に特徴抽出器（バックボーン）層における未解明の問題に取り組む。
• 分類器の再重み付けを超えて表現品質を向上させることで、長尾ベンチマークにおける認識性能を顕著に向上させられるかを調査する。
• 少数のサンプルによるテイルクラス表現の不確実性を考慮した、頑健な最適化に基づく損失を構築する。
• 標準的な分類損失と同時に最適化可能な、効率的で微分可能なDRO損失の上界を導出する。
• 表現の頑健な学習が、ヘッドクラスの性能を損なうことなくテイルクラスの認識精度を向上させることを示す。

提案手法

• クラス重心回りの不確実性近傍内での最悪の分布に対する頑健性を求める分布的に頑健な最適化（DRO）問題として、長尾学習を定式化する。
• 各クラス重心回りの不確実性領域を半径εの球として定義し、少数ショットサンプルに起因する分散が高いため、テイルクラスにはより大きな半径を設定する。
• 解析的に取り扱いやすく微分可能なDRO損失の上界を導出し、勾配降下法による効率的最適化を可能にする。
• 各クラスごとに学習可能な頑健性の安全マージンεを導入し、訓練中に同時に最適化することで、手動によるハイパーパramータチューニングを回避する。
• DRO-LT損失を標準的な交差エントロピー損失と組み合わせ、表現学習と分類器ヘッドのチューニングを同時に最適化可能にする。
• ネットワークの複数の層での表現に本手法を適用し、アブレーションによりペンultimate層で最も顕著な向上が得られることを示した。

Figure 1: Our distributional robustness loss is designed for learning a representation where samples are kept close to the centroid of their class. Here, the empirical centroid $\widehat{\mu_{2}}$ (framed pink triangle) is estimated based only on few samples (four pink triangles) and as a result it

実験結果

リサーチクエスチョン

• RQ1 長尾データで訓練されたディープネットワークの表現学習は、初期層でさえもヘッドクラスへのバイアスを示すのか？
• RQ2 分布的に頑健な最適化は、長尾学習におけるヘッドクラスおよびテイルクラスの両方の表現品質を向上させられるか？
• RQ3 効率的で微分可能なDRO損失の上界を導出でき、エンドツーエンドの訓練を可能にするか？
• RQ4 追加のハイパーパramータチューニングなしに、クラスごとに学習可能な頑健性マージンεを最適化できるか？
• RQ5 表現の頑健な学習は、ヘッドクラスの性能を損なわず、テイルクラスの認識精度を向上させられるか？

主な発見

• ディープネットワークの特徴抽出器は、初期層でさえもヘッドクラスへの顕著なバイアスを示しており、全層にわたりヘッドクラスとテイルクラスの精度差が継続する。
• 提案手法DRO-LT損失は、図4に示すように、テイルクラスの一般化誤差のギャップを縮小するが、ヘッドクラスの性能は維持する。
• 図5のt-SNE可視化により、DRO-LTはヘッドクラスおよびテイルクラスの両方において、よりコンパクトで明確に分離された特徴クラスタを生成することが確認された。
• 不均衡比50のCIFAR100-LTにおいて、DRO-LTは新たなSOTA性能を達成し、ヘッドクラスの精度を損なわず、テイルクラスの精度を顕著に向上させた。
• モデルは、テイルクラスに対してヘッドクラスよりも大きな頑健性マージン（ε）を学習しており、その表現における高い不確実性を反映している。
• 本手法はCIFAR100-LT、ImageNet-LT、iNaturalistの3つのベンチマークで一貫したSOTA結果を達成し、広範な適用可能性を示した。

Figure 2: Learned $\varepsilon$ values for each class of a ResNet-32 trained on CIFAR100-LT with imbalance ratio 50. Blue: Polynomial fit.