[論文レビュー] Tilted Empirical Risk Minimization

Tian Li, Ahmad Beirami+2 more|arXiv (Cornell University)|Jul 2, 2020

Statistical Methods and Inference参考文献 77被引用数 4

ひとこと要約

本稿では、個々の損失の影響を柔軟に制御できるハイパーパrameter 'tilt' を用いて、経験的リスク最小化（ERM）を一般化する統一的フレームワークであるTilted Empirical Risk Minimization（TERM）を提案する。傾きを調整することにより、TERMは外れ値に対してより頑健になり、サブグループ間の公平性が向上し、一般化のための分散低減が図られ、クラス不均衡に対しても対応可能となる。TERMは、一貫した最適化枠組みを用いて、多様な機械学習応用分野で、特化型手法を上回るか同等の性能を達成する。

ABSTRACT

Empirical risk minimization (ERM) is typically designed to perform well on the average loss, which can result in estimators that are sensitive to outliers, generalize poorly, or treat subgroups unfairly. While many methods aim to address these problems individually, in this work, we explore them through a unified framework -- tilted empirical risk minimization (TERM). In particular, we show that it is possible to flexibly tune the impact of individual losses through a straightforward extension to ERM using a hyperparameter called the tilt. We provide several interpretations of the resulting framework: We show that TERM can increase or decrease the influence of outliers, respectively, to enable fairness or robustness; has variance-reduction properties that can benefit generalization; and can be viewed as a smooth approximation to a superquantile method. We develop batch and stochastic first-order optimization methods for solving TERM, and show that the problem can be efficiently solved relative to common alternatives. Finally, we demonstrate that TERM can be used for a multitude of applications, such as enforcing fairness between subgroups, mitigating the effect of outliers, and handling class imbalance. TERM is not only competitive with existing solutions tailored to these individual problems, but can also enable entirely new applications, such as simultaneously addressing outliers and promoting fairness.

研究の動機と目的

• 標準的なERMの限界、すなわち平均性能の最適化に特化しているが、外れ値に対して感受性が高く、サブグループへの扱いが不公平である、あるいは一般化性能が劣る問題を解決すること。
• 外れ値に対する頑健性、公平性、クラス不均衡、分散低減といった、異なる課題を、一つの柔軟な最適化フレームワークに統合すること。
• 既存の手法が一つの課題に限定されるのに対し、TERMが同時に複数の課題（例：公平性と頑健性）を解決できることを示すこと。
• TERMの有効性について、理論的および実験的根拠を提供すること。

提案手法

• TERMはハイパーパrameter t を用いて ERM を拡張し、目的関数を R̃(t;θ) = (1/t) log( (1/N) Σ e^{t f(xi;θ)} ) として定義する。t=0 で ERM に一般化される。
• t < 0 の場合、TERM は大きな損失を抑制し、外れ値の影響を軽減して頑健性を向上させる。t > 0 の場合、大きな損失を強調し、ミニマックス的または分散低減的行動を促進する。
• このフレームワークは、超分位点（superquantile）（条件付きリスク価値）法の滑らかな近似として解釈され、頑健最適化と関連づけられる。
• 効率的な実装を可能にするために、バッチおよび確率的1次最適化手法が開発された。
• 実験を通じて傾きパラメータ t を適応的にチューニングし、頑健性および公平性の目的には負の値、分散低減や不均衡処理の目的には正の値が使用された。
• TERM は、頑健回帰、公平PCA、不均衡分類、分散低減という複数のタスクに適用され、最適化手法およびハイパーパramータチューニングを一貫して用いた。

実験結果

リサーチクエスチョン

• RQ1 外れ値、公平性、クラス不均衡の処理に特化した複数の手法に代わって、一貫した統一的フレームワークが機械学習で効果的に機能するか。
• RQ2 傾きハイパーパrameter t が、平均性能と最悪ケースまたはサブグループ固有の性能の間でどのようにトレードオフを制御するか。
• RQ3 TERM が標準的な ERM に比べて、分散低減によって一般化性能をどの程度向上できるか。
• RQ4 TERM が、既存の手法が一つの課題に限定されるのに対し、公平性と頑健性といった複数の課題を同時に解決できるか。
• RQ5 TERM が、頑健学習、公平性、不均衡分類分野の最先端手法と比べて、実験的にどの程度優れているか。

主な発見

• t = -2 で TERM を用いることで、高ノイズ環境（例：80％の損傷）下でも、Huber損失やCRRを上回る外れ値の抑制が実現された。
• 公平PCAにおいて、TERM は特化型手法と同等または優れた性能を発揮し、サブグループ間の差を低減しながらモデル精度を維持した。
• 不均衡分類において、適応的 t チューニングを用いた TERM は、ファーコン損失や LearnReweight を同等または上回った。特に高ノイズおよび高不均衡状況下で顕著だった。
• 正の t 値を用いた TERM は、線形SVMの実験で、チューニングされた意思決定閾値を用いて分散低減により一般化性能が向上した。
• TERM は、公平性と頑健性といった複数の課題を同時に解決でき、単一目的の解決策を超える柔軟性を示した。
• 実験的結果から、TERM はハイパーパラメータの選択に対して頑健であり、確率的1次最適化手法を用いて効率的に最適化可能であることが示された。