[論文レビュー] Long-Tailed Classification with Gradual Balanced Loss and Adaptive Feature Generation

Zihan Zhang, Xiang Xiang|arXiv (Cornell University)|Feb 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、最初にGradual Balanced Loss (GraLoss) を用いてロバストな特徴モデルを訓練し、その後、適応的でクラス固有の特徴を、Under-represented なテイルクラス向けに生成する、二段階のフレームワークであるGLAGを提案する。GLAGは、動的信頼度キャリブレーションと知識蒸留を用いて特徴表現を向上させるとともに、クラス分布をバランスさせる。これにより、CIFAR100-LT、ImageNetLT、iNaturalistで最先端の性能を達成する。

ABSTRACT

The real-world data distribution is essentially long-tailed, which poses great challenge to the deep model. In this work, we propose a new method, Gradual Balanced Loss and Adaptive Feature Generator (GLAG) to alleviate imbalance. GLAG first learns a balanced and robust feature model with Gradual Balanced Loss, then fixes the feature model and augments the under-represented tail classes on the feature level with the knowledge from well-represented head classes. And the generated samples are mixed up with real training samples during training epochs. Gradual Balanced Loss is a general loss and it can combine with different decoupled training methods to improve the original performance. State-of-the-art results have been achieved on long-tail datasets such as CIFAR100-LT, ImageNetLT, and iNaturalist, which demonstrates the effectiveness of GLAG for long-tailed visual recognition.

研究の動機と目的

• 深層学習におけるヘッドクラスが優勢でテイルクラスが十分なサンプルを獲得できない、長尾データ分布の課題に対処すること。
• 標準的な交差エントロピーをよりバランスの取れた損失関数に置き換えることで、分離学習における特徴モデルのロバスト性を向上させること。
• ヘッドクラスからの知識を用いて、テイルクラス向けに高品質でクラス固有の合成サンプルを生成することで、クラス分布のバランスを回復させること。
• 特徴生成中に自信スコアを動的に調整する適応的メカニズムを開発し、手動でのハイパーパramータチューニングを回避すること。
• 提案手法が多様な長尾データセットおよび既存の分離学習フレームワークに一般化可能であることを示すこと。

提案手法

• 動的トレードオフパラメータ α を用いて分類器のログィットを動的に調整する再重み付け戦略であるGradual Balanced Loss (GraLoss) を導入し、ヘッドクラスおよびテイルクラスの両方における特徴学習を改善する。
• 二段階のトレーニングパイプラインを採用する：まず、GraLoss を用いて特徴バックボーンを訓練する。次に、特徴モデルを固定し、実データおよび生成データを用いて分類器をファインチューニングする。
• クラスごとの自信スコア β を用いて、ヘッドクラスからの知識を活用してテイルクラスの合成特徴を生成する、適応的特徴生成器 (AFG) を提案する。β は検証精度に基づき適応的に更新される。
• 第二段階では、ヘッドクラスに対して知識蒸留損失を適用し、トレーニングの安定性を高めるとともに、全クラスにおけるパフォーマンスのバランスを取る。
• 検証精度に基づき自信スコア β を適応的に更新する、信頼度に配慮した適応的戦略を採用し、手動チューニングを回避するとともに、クラスごとの柔軟な分布キャリブレーションを可能にする。
• GraLoss を既存の分離学習手法（例：cRT、LWS、MiSLAS）と組み合わせ、一般化可能性および互換性を実証する。

実験結果

リサーチクエスチョン

• RQ1 動的ログィット調整を施す修正された交差エントロピー損失は、分離学習における長尾分類の特徴モデル性能を向上させることができるか？
• RQ2 ヘッドクラスからの知識を用いてテイルクラス向けに合成特徴を生成することは、標準的なデータ拡張よりも優れた一般化性能をもたらすか？
• RQ3 生成サンプルの自信スコアに対する適応的キャリブレーションは、固定値またはヒューリスティックな設定を上回る性能を発揮するか？
• RQ4 提案手法は、ヘッドクラス、ミドルクラス、テイルクラスの各クラスにおいて、従来の再重み付けおよびデータ拡張手法と比較して、正確性とロバスト性の面で優れているか？
• RQ5 提案手法は、異なる長尾データセットおよび分離学習フレームワークに、どの程度一般化可能か？

主な発見

• GraLoss は、CIFAR100-LT における複数の分離学習手法で、標準的な交差エントロピーとログィット調整損失を上回り、0.2%〜0.8% の精度向上を達成する。
• CIFAR100-LT の長尾設定（クラス1つあたり100, 50, 20, 10サンプル）において、GraLoss と適応的自信スコアを用いると、平均精度が 51.7% に達し、ベースライン手法を上回る。
• 適応的 β を用いた適応的特徴生成器は、CIFAR100-LT で 33.9% のフェイシュットクラス精度を達成し、固定自信スコアおよび非適応的手法を上回る。
• 知識蒸留損失は、クラス間パフォーマンスのバランスを取るのを助け、テイルクラスの性能低下を軽減するとともに、全体の精度を向上させる。
• GLAG は、ImageNetLT および iNaturalist でも最先端の性能を達成し、多様で現実世界の長尾データセットへの強い一般化能力を示す。
• アブレーションスタディにより、GraLoss と AFG、知識蒸留の組み合わせが最良の結果をもたらすことが確認され、適応的自信メカニズムが静的設定に比べて顕著な性能向上をもたらすことが判明した。