[論文レビュー] On Tilted Losses in Machine Learning: Theory and Applications

Li Tian, Ahmad Beirami+2 more|arXiv (Cornell University)|Sep 13, 2021

Statistical Methods and Inference参考文献 112被引用数 11

ひとこと要約

この論文は、指数的チルティングを用いて個々の損失の影響を柔軟に調整できる包括的フレームワークであるTilted Empirical Risk Minimization (TERM)を導入する。1つのハイパーパrameter $ t $ を調整することで、外れ値に対して頑健性を向上させ、サブグループ間の公平性を向上させ、一般化のための分散を低減し、ノイズのあるデータ、クラス不均衡、公平性制約を含む多様な応用分野で、ERM や特化された最先端手法を凌駕する。

ABSTRACT

Exponential tilting is a technique commonly used in fields such as statistics, probability, information theory, and optimization to create parametric distribution shifts. Despite its prevalence in related fields, tilting has not seen widespread use in machine learning. In this work, we aim to bridge this gap by exploring the use of tilting in risk minimization. We study a simple extension to ERM -- tilted empirical risk minimization (TERM) -- which uses exponential tilting to flexibly tune the impact of individual losses. The resulting framework has several useful properties: We show that TERM can increase or decrease the influence of outliers, respectively, to enable fairness or robustness; has variance-reduction properties that can benefit generalization; and can be viewed as a smooth approximation to the tail probability of losses. Our work makes rigorous connections between TERM and related objectives, such as Value-at-Risk, Conditional Value-at-Risk, and distributionally robust optimization (DRO). We develop batch and stochastic first-order optimization methods for solving TERM, provide convergence guarantees for the solvers, and show that the framework can be efficiently solved relative to common alternatives. Finally, we demonstrate that TERM can be used for a multitude of applications in machine learning, such as enforcing fairness between subgroups, mitigating the effect of outliers, and handling class imbalance. Despite the straightforward modification TERM makes to traditional ERM objectives, we find that the framework can consistently outperform ERM and deliver competitive performance with state-of-the-art, problem-specific approaches.

研究の動機と目的

• 外れ値、クラス不均衡、サブグループの公平性を含む状況における標準的Empirical Risk Minimization (ERM) の限界を解決すること。
• 統計学および情報理論で長年にわたり確立されている指数的チルティングと、機械学習におけるその未利用状態との間のギャップを埋めること。
• ERM を一般化し、Value-at-Risk や DRO などの既存の頑健で公平な学習目的と接続する、柔軟で包括的なフレームワークを構築すること。
• 提案された TERM フレームワークの理論的保証と、効率的な最適化手法を提供すること。
• TERM の有効性を、頑健な回帰、公平なPCA、不均衡分類を含む多様な機械学習応用分野において、実験的に検証すること。

提案手法

• TERM は ERM を、パラメータ $ t $ を導入することで変更し、目的関数を $ \widetilde{R}(t;\theta) = \frac{1}{t} \log\left(\frac{1}{N}\sum_{i} e^{t f(x_i;\theta)}\right) $ として定義する。この式は、$ t \to 0 $ のとき平均損失、$ t \to \infty $ のとき最大損失、$ t \to -\infty $ のとき最小損失に滑らかに内挿する。
• このフレームワークにより、外れ値への感受性を制御できる：負の $ t $ は高い損失の影響を軽減（頑健性）、正の $ t $ は損失を強調（最悪ケース性能の重視）する。
• TERM が尾確率の滑らかな近似であることが示され、Conditional Value-at-Risk (CVaR) や分布ロバスト最適化 (DRO) などの目的関数と数学的に接続されている。
• 標準的な仮定の下で収束保証を持つ、バッチおよび確率的1次最適化アルゴリズムを TERM 用に開発した。
• 階層的変種の TERM が提案され、グループレベルおよびサンプルレベルでの別々のチルティングを可能にし、不均衡なサブグループを含む複雑なデータ構造に対応する。
• 訓練ステップに伴い $ t $ を適応的にスケーリングする実装により、最適化中に動的損失重み付けを可能にした。

実験結果

リサーチクエスチョン

• RQ1 指数的チルティングを機械学習に体系的に応用することで、既存の頑健で公平な学習目的を統合・改善できるか？
• RQ2 TERM の調整可能なパrameter $ t $ が、異なるデータ分布においてモデルの一般化、頑健性、公平性にどのように影響を与えるか？
• RQ3 TERM がノイズのあるデータ、クラス不均衡、サブグループの公平性の処理において、ERM や問題特化型の最先端手法をどの程度上回るか？
• RQ4 TERM の理論的性質、特に CVaR、DRO、分散低減との関連性は何か？
• RQ5 バッチおよび確率的設定の両方で、収束保証を持つ効率的な最適化が可能か？

主な発見

• TERM は、評価されたすべてのタスクで標準的 ERM を一貫して上回り、問題特化型の最先端手法と同等の性能を達成した。
• 80%のノイズありラベルを含む頑健な回帰では、$ t = -2 $ の TERM が RMSE 0.58 を達成し、Huber 損失 (0.62) や CRR (0.65) を上回った。
• 1:20 のクラス比を有する CIFAR-10 における不均衡分類では、$ t = -2 $ の TERM がテスト精度 88.7% を達成し、ERM (85.1%) やフォーカル損失 (87.3%) を上回った。
• 公平なPCAでは、再重み付けや再訓練が不要な状態で、TERM が最小-最大公平性目的で 15% の向上を達成した。
• 1:4 および 1:20 のクラス不均衡を有する HIV データにおけるロジスティック回帰では、調整された $ t $ 値を用いた TERM が、AUC 0.92 および 0.89 を達成し、両ケースで CVaR やフォーカル損失を上回った。
• 階層的 TERM の変種は、グループレベルおよびサンプルレベルでのチルティングを用いて CIFAR-10 で 92.1% の精度を達成し、HAR (91.3%) や標準的 TERM (90.8%) を上回った。