[論文レビュー] Confidence Regions in Wasserstein Distributionally Robust Estimation

José Blanchet, Karthyek Murthy+1 more|arXiv (Cornell University)|Jun 4, 2019

Risk and Portfolio Optimization参考文献 14被引用数 10

ひとこと要約

本稿は、Wassersteinの分布ロバスト推定量の漸近正規性を確立し、ミニマックスロバスト最適化フレームワーク下で最適な信頼領域を導出する。これらの推定量が損失関数をその導関数に基づいて正則化することを示し、一般条件下でミニマックスとマックスミニの定式化が同等であることを証明し、分布的不確実性を伴うロバスト学習の頻度主義的基盤を提供する。

ABSTRACT

Wasserstein distributionally robust optimization estimators are obtained as solutions of min-max problems in which the statistician selects a parameter minimizing the worst-case loss among all probability models within a certain distance (in a Wasserstein sense) from the underlying empirical measure. While motivated by the need to identify optimal model parameters or decision choices that are robust to model misspecification, these distributionally robust estimators recover a wide range of regularized estimators, including square-root lasso and support vector machines, among others, as particular cases. This paper studies the asymptotic normality of these distributionally robust estimators as well as the properties of an optimal (in a suitable sense) confidence region induced by the Wasserstein distributionally robust optimization formulation. In addition, key properties of min-max distributionally robust optimization problems are also studied, for example, we show that distributionally robust estimators regularize the loss based on its derivative and we also derive general sufficient conditions which show the equivalence between the min-max distributionally robust optimization problem and the corresponding max-min formulation.

研究の動機と目的

• Wassersteinのあいまいさ集合から導かれる分布ロバスト推定量の漸近正規性を確立すること。
• 分布ロバスト最適化フレームワーク下で頻度主義的観点から最適な信頼領域の性質を特徴づけること。
• ミニマックス分布ロバスト最適化問題の構造的性質を調査すること、特にミニマックスとマックスミニの定式化の同等性を含む。
• 分布ロバスト推定量が損失関数の導関数に基づいて暗黙的に正則化されることを示すこと。
• Wasserstein距離制約を用いてモデルの不適合を考慮するロバスト統計的推定の理論的基盤を提供すること。

提案手法

• 分布ロバスト推定量をミニマックス問題として定式化：標本測度のWasserstein距離δの球内におけるすべての確率分布に対する最悪の期待損失を最小化する。
• 2次のWasserstein距離を用いてあいまいさ集合を定義し、標本分布の小さな摂動に対してロバストであることを保証する。
• 1次近似とマルティングール中心極限定理の技術を用いて推定量の漸近分布を導出する。
• 損失関数およびその導関数の連続性と有界性を含む、やや弱い正則性条件下でミニマックスとマックスミニの定式化が同等であることを確立する。
• 正規化された推定量の極限確率過程を導出し、一様有界性と連続性の議論を用いて分布収束を証明する。
• 集中不等式と強力な大数の法則を用いて、経験過程の挙動を制御し、一様収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 Wassersteinの分布ロバスト推定量がどのような条件下で漸近的に正規的か？
• RQ2 分布ロバスト最適化定式化によって誘導される最適信頼領域の構造はいかなるものか？
• RQ3 分布ロバスト推定量は損失関数をどのように正則化するのか？また、損失関数の導関数はこの正則化において果たす役割は何か？
• RQ4 ミニマックス分布ロバスト最適化問題がそのマックスミニ対応と同等になるのはどのような場合か？
• RQ5 分布的不確実性下での経験的リスク最小化推定量の有限標本および漸近的性質は何か？

主な発見

• 正則性条件下でWassersteinの分布ロバスト推定量は漸近的に正規的であり、極限分布は真のパラメータを中心に、フィッシャー情報行列の逆行列でスケーリングされたものである。
• 分布ロバスト最適化定式化によって誘導される最適信頼領域は、漸近的に通常の信頼領域（経験的リスク最小化推定量に基づくもの）と同等であるが、ロバストな分散・共分散調整が施されている。
• 分布ロバスト推定量は損失関数の勾配のL2ノルムに基づいて暗黙的に正則化する。具体的には、正則化項は損失関数の微分の期待二乗ノルムに比例する。
• 損失関数およびその導関数の連続性、および摂動集合の有界性を含むやや弱い条件下で、ミニマックス問題はマックスミニ問題と同等である。
• 正規化された推定量の極限過程は分布収束の意味でガウス過程に収束し、コンパクトなパrameter集合上で一様に収束する。
• ロバスト定式化から導かれる信頼領域はモデルの不適合に対してロバストであり、真の分布の局所的摂動に対しても被覆確率を維持する。