[論文レビュー] Restoring balance: principled under/oversampling of data for optimal classification

Emanuele Loffredo, Mauro Pastore+2 more|arXiv (Cornell University)|May 15, 2024

Statistical Methods and Inference被引用数 5

ひとこと要約

本論文は、クラス不均衡下の高次元線形分類器に対する厳密な解析的一般化曲線を導出し、最適な混合の下/過サンプリング戦略を同定し、実データおよび深層モデルで予測を検証する。

ABSTRACT

Class imbalance in real-world data poses a common bottleneck for machine learning tasks, since achieving good generalization on under-represented examples is often challenging. Mitigation strategies, such as under or oversampling the data depending on their abundances, are routinely proposed and tested empirically, but how they should adapt to the data statistics remains poorly understood. In this work, we determine exact analytical expressions of the generalization curves in the high-dimensional regime for linear classifiers (Support Vector Machines). We also provide a sharp prediction of the effects of under/oversampling strategies depending on class imbalance, first and second moments of the data, and the metrics of performance considered. We show that mixed strategies involving under and oversampling of data lead to performance improvement. Through numerical experiments, we show the relevance of our theoretical predictions on real datasets, on deeper architectures and with sampling strategies based on unsupervised probabilistic models.

研究の動機と目的

• 高次元の監視学習におけるクラス不均衡問題を動機づけ、定式化する。
• 統計力学的手法を用いて、不均衡下の線形分類器の一般化性能の厳密な解析式を導出する。
• 性能指標を最大化するための最適な下サンプリング/過サンプリング戦略を、混合アプローチを含めて特定する。
• 実データセットでの実験およびより深いアーキテクチャや高度なサンプリング手法による理論予測を検証する。

提案手法

• 球状正則化の下でヒンジ損失を用いた経験的リスク最小化としてモデル訓練（ソフトマージンSVM）。
• データを一次・二次統計量（平均 M、シフト δ、共分散 C）で特徴づけ、次元無限大極限（L→∞）を仮定する。
• レプリカ法を適用して鞍点方程式を導出し、データ統計量と不均衡比の関数として性能指標を得る。
• 鞍点から解かれるパラメータを用いて、テスト前プリアクティベーション分布Δ±に基づく混同行列、正解率(ACC)、バランス精度(BA)、AUCなどの厳密な漸近予測を導出する。
• 不均衡が指標に与える影響を分析し、下サンプリング/過サンプリングの混合パラメータ（混合割合）を計算する。
• 数値実験を通じてより深いモデルへ理論を拡張し、教師なしRBMベースのサンプリング（LIS）と単純なオーバーサンプリング/アンダーサンプリング戦略を探る。

実験結果

リサーチクエスチョン

• RQ1 高次元領域における線形分類器の一般化性能は、クラス不均衡によってどのように影響を受けるか？
• RQ2 さまざまな性能指標に対して、最適な不均衡緩和のサンプリング戦略（アンダーサンプリング、オーバーサンプリング、混合）は何か？
• RQ3 現実的なデータ統計の下で、混合下/過サンプリングは純粋なアンダーサンプリングまたはオーバーサンプリングより優れるか？
• RQ4 より深いアーキテクチャやより高度なサンプリング手法に対して理論予測は成立するか？

主な発見

• AUCはクラス不均衡に対して比較的鈍感である一方、BAはより情報価値が高く、均衡訓練を支持する。
• 不均衡下での最良の一般化性能は、純粋なアンダーサンプリングやオーバーサンプリングよりも混合の下/過サンプリングを要することが多い。
• 全アンダーサンプリングは最適とは言えず、混合戦略が検証された状況で高いBAをもたらす。
• RBMベースの Likelihood-Informed Sampling (LIS) は、線形SVMとMNIST様タスクの両方でランダムサンプリングより性能を向上させる。
• バランス訓練は深層分類器の性能を改善し（例：バイナリ化したCIFAR-10に対してfinetuneしたResNet-50）、より鮮明な意思決定境界を生み出す。
• 理論は合理的な共分散仮定の下、MNIST系やCelebAといったベンチマークデータセットのBA曲線を定量的に予測する。