[論文レビュー] AutoBalance: Optimized Loss Functions for Imbalanced Data

Mingchen Li, Xuechen Zhang+3 more|arXiv (Cornell University)|Jan 4, 2022

Imbalanced Data Classification Techniques被引用数 27

ひとこと要約

AutoBalanceは、バイレベル最適化フレームワークを用いて、不均衡データに対する公正性指向の性能を向上させるために、損失関数と個別化データ拡張を自動設計します。

ABSTRACT

Imbalanced datasets are commonplace in modern machine learning problems. The presence of under-represented classes or groups with sensitive attributes results in concerns about generalization and fairness. Such concerns are further exacerbated by the fact that large capacity deep nets can perfectly fit the training data and appear to achieve perfect accuracy and fairness during training, but perform poorly during test. To address these challenges, we propose AutoBalance, a bi-level optimization framework that automatically designs a training loss function to optimize a blend of accuracy and fairness-seeking objectives. Specifically, a lower-level problem trains the model weights, and an upper-level problem tunes the loss function by monitoring and optimizing the desired objective over the validation data. Our loss design enables personalized treatment for classes/groups by employing a parametric cross-entropy loss and individualized data augmentation schemes. We evaluate the benefits and performance of our approach for the application scenarios of imbalanced and group-sensitive classification. Extensive empirical evaluations demonstrate the benefits of AutoBalance over state-of-the-art approaches. Our experimental findings are complemented with theoretical insights on loss function design and the benefits of train-validation split. All code is available open-source.

研究の動機と目的

• 高容量モデルを用いた不均衡データセットにおける一般化と公正性の懸念を動機づけ、対処する。
• テストセット上の公正性を追求する目的を最適化する損失関数を設計するための principled な方法を開発する。
• パラメトリック損失関数とクラス特異的拡張を通じて、クラスやグループに対する個別処理を実現する。
• 損失設計、訓練–検証分割、およびこれらが最適化ダイナミクスに与える影響について理論的洞察を提供する。
• 複数の長尾およびグループ感度のある分類タスクにおいて、最先端手法を上回る実証的利得を示す。

提案手法

• 下位問題でモデルの重みを訓練し、上位問題で損失関数のハイパーパラメータを調整するバイレベル最適化フレームワークを提案する。
• 三つのベクトル（w, l, Δ）を用いたパラメトリッククロスエントロピーロスを導入し、加法的（l）および乗法的（Δ）ロジットと重みをクラス別に調整できるようにする。
• 各クラスやグループに個別化可能なデータ拡張ポリシー（A_y）を組み込み、Δをシグモイドでクリップして(0,1)内に保つ。
• 下位損失をell_trainとして、w_y、l_y、Δ_y、および拡張を統合し、マイノリティクラスへの学習バイアスを生むように設定する。
• αのハイパーグラディエントを計算するために暗黙微分を用い、暗黙関数定理の仮定を満たすためのウォームアップ段階を採用する。
• 同様の頻度クラス間でハイパーパラメータを共有するため、サブスペース埋め込み（l′, Δ′）と頻度対応型ディクショナリD_πを用いてハイパーパラメータ探索の複雑性を低減する。
• 検証データセットに基づく最適化を適用して、望ましい公正性目的に向けて損失関数設計を指向させ、発見したα★を用いて全データで再訓練する。

実験結果

リサーチクエスチョン

• RQ1 どのように自動的に損失関数を設計して、不均衡データにおける公正性関連指標（例：バランスド精度）を改善できるか？
• RQ2 バイレベル最適化は、クラスまたはグループ特異的な損失調整と拡張をテスト時の性能向上のために効果的に調整できるか？
• RQ3 個別化データ拡張が意思決定境界をどのように移動させ、マイノリティグループやクラスを有利にするか？
• RQ4 クラスタリングと埋め込みによるハイパーパラメータ探索空間の縮小は、性能を維持しながら収束を改善するか？

主な発見

手法	CIFAR10-LT	CIFAR100-LT	ImageNet-LT	iNaturalist
Cross-Entropy	30.45	62.69	55.47	39.72
LDAM loss [8]	26.37	59.47	54.21	35.63
LA loss (τ=1) [59]	23.13	58.96	52.46	34.06
CDT loss [75]	20.73	57.26	53.47	34.46
AutoBalance: τ of LA loss	21.82	58.68	52.39	34.19
AutoBalance: l vector	23.02	58.71	52.60	34.35
AutoBalance: Δ vector	22.59	58.40	53.02	34.37
AutoBalance: Δ & l	21.39	56.84	51.74	33.41
AutoBalance: Δ & l, LA init	21.15	56.70	50.91	33.25

• AutoBalanceは、マイノリティクラスを上積みする損失関数ハイパーパラメータを発見し、理論的な直感と整合する。
• 加法的（l）と乗法的（Δ）ロジット調整の結合学習は、公正性と性能のトレードオフを優越させる。
• 個別化データ拡張（PDA）は、単一の一般拡張ポリシーを超えてバランス精度をさらに改善する。
• Δとlの設計は、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、および iNaturalist のデータセット全体でベースラインを上回る。
• LA損失の初期化（τ）でAutoBalanceを開始すると、精度がさらに向上することが多く、ウォームスタートの利益を示唆する。
• 表全体を通じて、Δとlを用いたAutoBalanceは、長尾・グループ感度設定で最先端手法を上回る。