[論文レビュー] Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective

Muhammad Abdullah Jamal, Matthew A. Brown+3 more|arXiv (Cornell University)|Mar 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 29

ひとこと要約

この論文は、長尾視覚認識におけるクラスバランス学習を再考し、特にターゲットシフトに注目してドメイン適応問題として定式化する。特に、代表されないテールクラスに対して、ソース（学習）とターゲット（推論）のクラス条件付き分布の乖離を明示的に推定・是正するメタラーニング手法を提案する。6つのベンチマークで最先端の性能を達成し、従来手法に比して一貫した向上を示す。

ABSTRACT

Object frequency in the real world often follows a power law, leading to a mismatch between datasets with long-tailed class distributions seen by a machine learning model and our expectation of the model to perform well on all classes. We analyze this mismatch from a domain adaptation point of view. First of all, we connect existing class-balanced methods for long-tailed classification to target shift, a well-studied scenario in domain adaptation. The connection reveals that these methods implicitly assume that the training data and test data share the same class-conditioned distribution, which does not hold in general and especially for the tail classes. While a head class could contain abundant and diverse training examples that well represent the expected data at inference time, the tail classes are often short of representative training data. To this end, we propose to augment the classic class-balanced learning by explicitly estimating the differences between the class-conditioned distributions with a meta-learning approach. We validate our approach with six benchmark datasets and three loss functions.

研究の動機と目的

• 長尾視覚認識問題をドメイン適応の観点から分析し、特にターゲットシフト仮定に注目する。
• 従来のクラスバランス手法に内在する、ソースとターゲットのクラス条件付き分布が同一であるという暗黙の仮定が、テールクラスでは成立しないことを見出す。
• メタラーニングを用いて、ソースとターゲットのクラス条件付き分布の乖離を明示的にモデル化することで、長尾認識を向上させる。
• クラスワイズ重みと条件付き重みを統合的に最適化する2段階の重み付け機構を構築し、より良い一般化性能を実現する。
• 複数の損失関数を用いて、ImageNet-LT、Places-LT、iNaturalistなど多様なベンチマークで手法の有効性を検証する。

提案手法

• 長尾分類問題を、ソースドメインに長尾クラス分布が存在し、ターゲットドメインがバランスされたものと仮定するドメイン適応におけるターゲットシフト問題として再定式化する。
• 2段階の重み付け機構を提案：クラスワイズ重みでクラス頻度をバランスさせ、条件付き重みで学習データと推論データ間の分布シフトを各クラスごとに是正する。
• メタラーニングフレームワークを採用し、内側のループで現在の重みでモデルを学習し、外側のループで検証性能に基づいて重みを更新する。
• 2段階の訓練プロセスを採用：まずクロスエントロピーで事前学習し、その後メタ学習で得た重みで微調整することで、テールクラスの一般化性能を向上させる。
• クロスエントロピー、フォーカル損失、LDAM損失の3つの損失関数に適用し、異なる損失関数においても一貫した性能向上を示す。
• メタラーニング中に分類層のみを更新する変種を導入し、長尾データセットでの性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 長尾視覚認識において、ソースとターゲットのクラス条件付き分布が同一であるという仮定は、テールクラスに対しても成立するか？
• RQ2 学習データと推論データ間の分布シフトを明示的にモデル化することで、長尾データセットでの性能向上が達成できるか？
• RQ3 クラスワイズ重みと条件付き重みの共同最適化をメタラーニングで行う手法は、標準的なクラスバランス手法に比べてどのように優れるか？
• RQ4 提案手法は異なる損失関数やベンチマークデータセットに一般化可能か？
• RQ5 条件付き重みとクラスワイズ重みの両方がテールクラスの精度向上に寄与する割合はどの程度か？

主な発見

• iNaturalist 2018ではトップ1誤差を70.10%まで低下させ、クラスバランス付きクロスエントロピーに比べ2%、通常のクロスエントロピーに比べ4.3%の改善を達成した。
• Places-LTではトップ1誤差62.90%を達成し、OLTR（64.1%）やcRT（63.3%）といった最先端手法と同等またはそれを上回った。
• ImageNet-LTでは通常のクロスエントロピーに比べ3.33%、クラスバランス付きクロスエントロピーに比べ2.33%のトップ1精度向上を達成した。
• アブレーションスタディでは、クラスワイズ重みまたは条件付き重みのいずれかを削除すると性能が低下し、両方のコンponentの必要性が確認された。
• CIFAR-LT、ImageNet-LT、Places-LT、iNaturalist 2017/2018を含む6つのベンチマークすべてにおいて、クラスバランス学習を上回る一貫した性能向上を示した。
• メタラーニング中に分類層のみを別途最適化する戦略を採用した場合、さらなる性能向上が得られ、微調整戦略の重要性が示された。