[論文レビュー] Attentional Biased Stochastic Gradient for Imbalanced Classification.

Qi Qi, Yi Xu+3 more|arXiv (Cornell University)|Dec 13, 2020

Imbalanced Data Classification Techniques参考文献 69被引用数 4

ひとこと要約

本稿では、分布的ロバスト最適化（DRO）に基づく理論的裏付けと計算効率を兼ね備えた、クラス間の不均衡な深層学習に対するAttentional Biased Stochastic Gradient (ABSGD)を提案する。この手法は、スケーリングされた損失値の指数関数に基づくアテンション機構を用いて、各サンプルに個別に重みを割り当てる。1イテレーションあたり1回のバックワードパスでのみ実行され、クラスレベルやメタラーニングベースの個別重み付け手法を上回る性能を達成しており、クラス内多様性を捉えつつ収束を保証する。

ABSTRACT

In this paper, we present a simple yet effective method (ABSGD) for addressing the data imbalance issue in deep learning. Our method is a simple modification to momentum SGD where we leverage an attentional mechanism to assign an individual importance weight to each gradient in the mini-batch. Unlike many existing heuristic-driven methods for tackling data imbalance, our method is grounded in {\it theoretically justified distributionally robust optimization (DRO)}, which is guaranteed to converge to a stationary point of an information-regularized DRO problem. The individual-level weight of a sampled data is systematically proportional to the exponential of a scaled loss value of the data, where the scaling factor is interpreted as the regularization parameter in the framework of information-regularized DRO. Compared with existing class-level weighting schemes, our method can capture the diversity between individual examples within each class. Compared with existing individual-level weighting methods using meta-learning that require three backward propagations for computing mini-batch stochastic gradients, our method is more efficient with only one backward propagation at each iteration as in standard deep learning methods. To balance between the learning of feature extraction layers and the learning of the classifier layer, we employ a two-stage method that uses SGD for pretraining followed by ABSGD for learning a robust classifier and finetuning lower layers. Our empirical studies on several benchmark datasets demonstrate the effectiveness of the proposed method.

研究の動機と目的

• クラスレベルの重み付けを超えて、クラス内サンプルの多様性を捉えることで、深層学習におけるデータの不均衡を解消すること。
• 理論的収束保証を持つ分布的ロバスト最適化（DRO）に基づく手法を開発すること。
• 複数回のバックワードパスを要するメタラーニングベースの個別重み付け手法と比較して、計算コストを低減すること。
• SGDによるトレーニングの後にABSGDを適用する2段階トレーニング戦略を用いて、特徴抽出と分類器学習のバランスを取ること。
• アーキテクチャの変更なしに、長尾分布や不均衡なベンチマークデータセットにおける一般化性能を向上させること。

提案手法

• ミニバッチ内の各サンプルについて、スケーリングされた損失値の指数関数に基づくアテンション機構を導入し、個別に勾配重みを割り当てる。
• 情報正則化付きDROの枠組み内で手法を定式化し、スケーリング係数を正則化パrameterとして機能させる。
• 理論的分析を通じて、正則化付きDRO問題の定常点に収束することを保証する。
• 1イテレーションあたり1回のバックワードパスを維持し、標準的なSGDと同等の計算効率を確保する。
• 2段階トレーニングパイプラインを実装：まず標準的なSGDで事前学習を行い、その後ABSGDで微調整して分類器および下位層を最適化する。
• 損失値が大きいサンプル（難易度の高いまたは代表されていないサンプル）に高いアテンション重みを割り当て、最適化をそれらに集中させる。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの勾配重み付けスキームは、計算効率を維持したまま、不均衡分類における一般化性能を向上させることができるか？
• RQ2 クラス内サンプルの多様性を捉えることで、クラスレベルの重み付け手法よりも優れた性能を達成できるか？
• RQ3 情報正則化付きDROに基づく理論的裏付けと収束保証が可能か？
• RQ4 複数回のバックワードパスを要するメタラーニングベースの個別重み付け手法と比較して、訓練効率と精度の面で優位性を示せるか？
• RQ5 2段階トレーニング戦略は、不均衡な状況下で特徴抽出と分類器最適化のバランスを効果的に取れるか？

主な発見

• ABSGDは、長尾クラス分布を示す複数のベンチマークデータセットで最先端の性能を達成した。
• クラス内ばらつきを捉え、難易度の高いサンプルに注目することで、クラスレベルの重み付け手法を上回った。
• 1イテレーションあたり1回のバックワードパスを維持しており、メタラーニングベース手法が3回のバックワードパスを要するのと比較して、計算効率に優れた。
• 理論的分析により、情報正則化付きDRO問題の定常点に収束することが確認された。
• 2段階トレーニング戦略により、特徴抽出と分類器最適化を分離することで、特に分類器層のロバスト性が向上した。
• 実験結果から、多様な不均衡データセットにおいて一貫した精度向上が確認され、特定のアーキテクチャに依存しない一般化性能を示した。