[論文レビュー] Simple data balancing achieves competitive worst-group-accuracy

Badr Youbi Idrissi, Martín Arjovsky+2 more|arXiv (Cornell University)|Oct 27, 2021

Machine Learning and Data Classification参考文献 29被引用数 10

ひとこと要約

この論文は、クラスやグループの単純なデータバランス調整（サブサンプリングまたは再重み付け）が、4つのベンチマークデータセット（CelebA, Waterbirds, MultiNLI, CivilComments）において、gDRO や JTT といった複雑な手法を上回る最先端のワーストグループ正答率を達成することを示している。特に、サブサンプリングは、最小限のハイパーパramータチューニングで安定した性能を示し、長時間の訓練でも安定性を保つ。

ABSTRACT

We study the problem of learning classifiers that perform well across (known or unknown) groups of data. After observing that common worst-group-accuracy datasets suffer from substantial imbalances, we set out to compare state-of-the-art methods to simple balancing of classes and groups by either subsampling or reweighting data. Our results show that these data balancing baselines achieve state-of-the-art-accuracy, while being faster to train and requiring no additional hyper-parameters. In addition, we highlight that access to group information is most critical for model selection purposes, and not so much during training. All in all, our findings beg closer examination of benchmarks and methods for research in worst-group-accuracy optimization.

研究の動機と目的

• 一般的なワーストグループ正答率ベンチマークが、モデル性能に影響を及ぼすデータの不均衡を抱えているかどうかを調査すること。
• ワーストグループ正答率最適化において、単純なデータバランス調整技術（サブサンプリングと再重み付け）が最先端手法を上回る有効性を評価すること。
• 弱教師あり設定における属性情報の、訓練段階とモデル選択段階における重要性の役割を特定すること。
• より多くのデータが常にワーストグループ性能を向上させるという仮定に疑問を呈すること、特に分布シフト下において。

提案手法

• 著者たちは、クラスおよびグループの不均衡について、4つの標準的なワーストグループ正答率ベンチマーク（CelebA, Waterbirds, MultiNLI, CivilComments）を分析した。
• クラスレベルのサブサンプリング（SUBY）とグループレベルのサブサンプリング（SUBG）、および再重み付け手法（RWY, RWG）を用いてデータバランスを調整した。
• すべてのモデルは標準的なディープラーニングパイプラインで訓練され、全グループのワーストグループ正答率に注目して評価された。
• 長時間の訓練を経て、正則化ハイパーパramータへの感受性と性能の安定性を評価した。
• 線形モデルからの理論的洞察を用いて、再重み付けとサブサンプリングの違い、特に正則化との相互作用を説明した。
• ERM, gDRO, JTT および提案されたベースラインを含む、複数のデータセットとモデルを用いた実験的比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 一般的なワーストグループ正答率ベンチマークに、モデル性能に影響を及ぼす顕著なクラスおよびグループの不均衡が見られるか？
• RQ2 サブサンプリングや再重み付けといった単純なデータバランス調整技術が、最先端手法と比較して競争力のあるワーストグループ正答率を達成できるか？
• RQ3 弱教師あり設定において、属性情報は訓練段階よりもモデル選択段階でより重要であるか？
• RQ4 再重み付けとサブサンプリングは、長時間の訓練にわたるモデル一般化および耐性にどのように異なる影響を与えるか？
• RQ5 現在のベンチマークは、実際の分布シフト問題を反映しているのか、それとも単純なデータバランス調整で解決可能なのか？

主な発見

• グループレベルの単純なサブサンプリング（SUBG）が、4つのベンチマークすべてで最先端のワーストグループ正答率を達成し、gDRO や JTT といった複雑な手法を上回った。
• サブサンプリング手法（SUBY および SUBG）は長時間の訓練でもより安定した性能を示したのに対し、再重み付けベースの手法（RWY, RWG, gDRO）は初期のピーク後、性能が低下した。
• 再重み付け手法は良好な性能を得るためには強い正則化が必要であったが、サブサンプリングは正則化がなくても性能を維持した。これは最適化行動における根本的な違いを示している。
• CelebA で最も優れた再重み付けモデル（RWG）は、たった3エポックで停止した。これは、重み付きサンプリング（リプレースメントあり）によって多数グループが実質的にサブサンプリングされたことを示唆している。
• サブサンプリングは訓練が高速で、正則化ハイパーパramータへの感受性が低く、再重み付けや複雑なベースラインよりもハイパーパramータサーチに適している。
• 結果は、データが不均衡である場合、より多くのデータが常にワーストグループ性能を向上させるという仮定に疑問を呈している。