[論文レビュー] Learning Models with Uniform Performance via Distributionally Robust Optimization

John C. Duchi, Hongseok Namkoong|arXiv (Cornell University)|Oct 19, 2018

Insurance, Mortality, Demography, Risk Management被引用数 23

ひとこと要約

本稿では、f-発散度を用いて経験分布に近い分布の集合における最悪の期待損失を最小化する、分布的に頑健な最適化（DRO）フレームワークを提案する。この手法は、部分集団や末尾インスタンスにおいて一様な性能を確保し、収束性、漸近正規性、有限標本バウンドに関する理論的保証を備え、細分化された認識や部分集団一般化といった実世界のタスクにおいて、標準的手法を上回る公平性と頑健性を示す。

ABSTRACT

A common goal in statistics and machine learning is to learn models that can perform well against distributional shifts, such as latent heterogeneous subpopulations, unknown covariate shifts, or unmodeled temporal effects. We develop and analyze a distributionally robust stochastic optimization (DRO) framework that learns a model providing good performance against perturbations to the data-generating distribution. We give a convex formulation for the problem, providing several convergence guarantees. We prove finite-sample minimax upper and lower bounds, showing that distributional robustness sometimes comes at a cost in convergence rates. We give limit theorems for the learned parameters, where we fully specify the limiting distribution so that confidence intervals can be computed. On real tasks including generalizing to unknown subpopulations, fine-grained recognition, and providing good tail performance, the distributionally robust approach often exhibits improved performance.

研究の動機と目的

• 分布シフトの影響により、少数派の部分集団や末尾インスタンスで標準的手法の性能が著しく低下する問題に対処すること。
• 特に困難または代表されないケースにまで一様な性能を確保する、頑健な最適化フレームワークの開発。
• DRO推定量に関する有限標本バウンドおよび漸近的統計的保証（収束速度、極限分布など）の提供。
• 極限分布の完全な特徴付けを用いて、学習済みパラメータの信頼区間の構築を可能にすること。
• 細分化された認識や部分集団一般化といった実タスクにおけるアプローチの実証的妥当性の検証。特に末尾性能の向上を示す。

提案手法

• 経験分布のf-発散度ボール（半径ρ）内にあるすべての分布における最悪の期待損失を最小化する形で、頑健な最適化問題を定式化する。
• 凸双対性を用いてDRO問題の取り扱い可能な形に変換し、発散生成関数fの共役関数を用いて効率的な計算を可能にする。
• 実際の応用では、真のデータ生成分布を経験分布によるプラグイン推定量で近似する。
• 経験過程理論および弱収束の道具を用いて、推定量の漸近正規性および有限標本バウンドを導出する。
• DRO推定量が一貫性および漸近正規性を満たす条件を導出し、明示的な極限分散構造を特定する。
• 括弧付きエントロピーおよびモーメント条件を用いて、経験過程の収束および推定量の中心極限定理の有効性を確立する。

実験結果

リサーチクエスチョン

• RQ1 分布的に頑健な最適化フレームワークは、分布シフト下における困難なインスタンスや少数派の部分集団でのモデル性能を向上させ得るか？
• RQ2 有限標本下において、DRO推定量の収束速度は標準的な経験的リスク最小化（ERM）と比べてどうなるか？
• RQ3 DRO推定量の極限分布は何か？ また、その分布を用いて有効な信頼区間を構築できるか？
• RQ4 f-発散度関数fおよび半径ρをどのように選べば、特定のタイプの末尾性能を制御できるか？
• RQ5 DROアプローチは、潜在的な不均一性や共変量シフトを伴う実世界タスクにおいて、測定可能な改善をもたらすか？

主な発見

• f-発散度によるデータ生成分布への摂動を考慮した最悪の損失を最小化することで、DROフレームワークはすべての入力領域で一様な性能を達成する。
• 有限標本におけるミニマックス上界および下界の分析から、標準的なERMと比較して、分布的頑健性の導入には収束速度の低下が伴う可能性があることが示された。
• DRO推定量の極限分布は完全に特徴付けられており、モデルパラメータの有効な信頼区間の構築が可能である。
• 細分化された認識や部分集団一般化といった実タスクにおいて、DRO手法は末尾インスタンスおよび少数派の部分集団で優れた性能を示した。
• 理論的分析により、DRO推定量が弱い正則性条件のもとで一貫性および漸近正規性を満たすことが確認され、収束速度はfおよびρの選択に依存することが分かった。
• 実験的結果から、DROアプローチは、末尾性能が重要な安全・公平性が求められる応用分野で、標準的手法を上回ることが明らかになった。