[論文レビュー] DORO: Distributional and Outlier Robust Optimization

Runtian Zhai, Dan Chen+2 more|arXiv (Cornell University)|Jun 11, 2021

Machine Learning and Algorithms参考文献 43被引用数 7

ひとこと要約

本稿では、DROを改善するための分布的かつ外れ値に頑健な最適化フレームワークDOROを提案する。DOROは、外れ値に敏感な高リスクインスタンスを適応的にフィルタリングすることで、外れ値への感受性を低減する。Cressie-ReadのRényi発散族を活用することで、COMPAS、CelebA、CivilComments-Wildsといった大規模データセットにおいて、性能と学習安定性の両方を向上させ、サブポピュレーションシフト下でも標準DROを上回るworst-case精度と頑健性を達成する。

ABSTRACT

Many machine learning tasks involve subpopulation shift where the testing data distribution is a subpopulation of the training distribution. For such settings, a line of recent work has proposed the use of a variant of empirical risk minimization(ERM) known as distributionally robust optimization (DRO). In this work, we apply DRO to real, large-scale tasks with subpopulation shift, and observe that DRO performs relatively poorly, and moreover has severe instability. We identify one direct cause of this phenomenon: sensitivity of DRO to outliers in the datasets. To resolve this issue, we propose the framework of DORO, for Distributional and Outlier Robust Optimization. At the core of this approach is a refined risk function which prevents DRO from overfitting to potential outliers. We instantiate DORO for the Cressie-Read family of Rényi divergence, and delve into two specific instances of this family: CVaR and $χ^2$-DRO. We theoretically prove the effectiveness of the proposed method, and empirically show that DORO improves the performance and stability of DRO with experiments on large modern datasets, thereby positively addressing the open question raised by Hashimoto et al., 2018.

研究の動機と目的

• サブポピュレーションシフトを伴う現実世界のタスクにおいて、DROの性能の低さと不安定性を解消すること。
• 現代のデータセットにおけるDROの最適でない挙動の主な要因として、外れ値への感受性を同定すること。
• 分布的頑健性を維持しつつ、外れ値に対して耐性を持つ最適化フレームワークを開発すること。
• 提案されたDOROフレームワークに対して理論的保証と実証的検証を提供すること。
• オракルへのアクセスが不可能なドメインに依存しない設定におけるモデル選択戦略を改善すること。

提案手法

• DOROは、学習中に外れ値である可能性の高い高リスクインスタンスを適応的に重みを下げる、洗練されたリスク関数を導入する。
• この手法は、Cressie-ReadのRényi発散族に基づいて実装され、特にCVaR-DOROとχ²-DROに焦点を当てる。
• ハイパーパrameter ε はリスクに基づいてデータの一部をフィルタリングする割合を制御し、事前の外れ値ラベルなしで外れ値に頑健な性能を実現する。
• フレームワークはDROのworst-case最適化目的を維持しつつ、極端な損失インスタンスへの過学習を低減する。
• 理論的分析により、DOROが外れ値が存在する状況下でもサブポピュレーションシフトにおいて分布的頑健性を保つことが証明されている。
• 実験的評価では、MLP、ResNet18、BERTといった多様なアーキテクチャを用いたCOMPAS、CelebA、CivilComments-Wildsといった大規模データセットが使用された。

実験結果

リサーチクエスチョン

• RQ1 理論的保証はあるものの、なぜDROは現実世界のデータセットでは実際の性能が低いのか？
• RQ2 DROの性能の低さと不安定性は、外れ値への感受性によってどの程度引き起こされているのか？
• RQ3 高リスクインスタンスをフィルタリングする洗練されたリスク関数は、DROの頑健性と安定性を向上させることができるか？
• RQ4 サブポピュレーション全体におけるworst-case性能において、DOROはDROやERMと比べてどの程度優れているか？
• RQ5 ドメインに依存しない設定におけるDOROのモデル選択戦略として、どのような手法が有効か？

主な発見

• COMPASデータセットでは、α=0.5およびε=0.2のDOROがworst-case精度89.16±1.41を達成し、標準DRO（87.28±2.05）およびERM（80.73±1.41）を上回った。
• CelebAでは、α=0.25およびε=0.01のχ²-DOROがworst-case精度88.76±0.81を達成し、χ²-DRO（84.37±4.08）を著しく上回った。
• CivilComments-Wildsでは、DOROによりworst-case精度がDROの63.36±2.51からオラクル条件での65.36±1.02に向上し、DOROも同条件で65.36±1.02を達成した。
• Min CVaRまたはMin CVaR-DOROに基づくモデル選択は、ほとんどの場合、Max Average Accuracyに劣っており、これら基準がDOROには信頼できないことが示された。
• オラクル戦略と非オラクル戦略の間の差は依然として大きく、ドメインに依存しない設定におけるモデル選択の難しさが浮き彫りになった。
• 実験により、外れ値を除去することでDROの性能が向上することが確認され、外れ値への感受性がDROの不安定性と性能の低さの主な要因であることが裏付けられた。