[論文レビュー] Wasserstein Distributionally Robust Optimization: Theory and Applications in Machine Learning

Daniel Kühn, Peyman Mohajerin Esfahani+2 more|arXiv (Cornell University)|Aug 23, 2019

Probabilistic and Robust Engineering Design参考文献 109被引用数 17

ひとこと要約

この論文は、経験的分布の周囲にあいまいさ集合を定義するために Wasserstein 距離を用いる、データ駆動型の不確実性下での意思決定のための Wasserstein 分布ロバスト最適化（WDRO）を導入する。WDRO は、強い一般化保証を持つ扱いやすい凸最適化問題をもたらし、機械学習における新たな正則化学習手法の実現を可能にする。

ABSTRACT

Many decision problems in science, engineering and economics are affected by uncertain parameters whose distribution is only indirectly observable through samples. The goal of data-driven decision-making is to learn a decision from finitely many training samples that will perform well on unseen test samples. This learning task is difficult even if all training and test samples are drawn from the same distribution -- especially if the dimension of the uncertainty is large relative to the training sample size. Wasserstein distributionally robust optimization seeks data-driven decisions that perform well under the most adverse distribution within a certain Wasserstein distance from a nominal distribution constructed from the training samples. In this tutorial we will argue that this approach has many conceptual and computational benefits. Most prominently, the optimal decisions can often be computed by solving tractable convex optimization problems, and they enjoy rigorous out-of-sample and asymptotic consistency guarantees. We will also show that Wasserstein distributionally robust optimization has interesting ramifications for statistical learning and motivates new approaches for fundamental learning tasks such as classification, regression, maximum likelihood estimation or minimum mean square error estimation, among others.

研究の動機と目的

• 真の確率的パラメータの分布が未知であり、有限の訓練サンプルからのみ観測可能な状況における意思決定の課題に取り組むこと。
• 訓練データとテストデータの間の分布シフトを、Wasserstein 距離を用いて定義されたあいまいさ集合によってモデル化することで、分布ロバストな最適化フレームワークを構築すること。
• WDRO アプローチから得られる意思決定の理論的一貫性および外挿性能保証を提供すること。
• 分類、回帰、推定といった機械学習の基本的タスクにおける WDRO の適用可能性を示すこと。

提案手法

• 観測されたデータポイントに一様離散測度を適用して訓練サンプルから名目となる経験的分布を構築する。
• 名目分布からの指定された Wasserstein 距離内に位置する確率分布の集合として、分布のあいまいさ集合を定義する。
• あいまいさ集合内におけるすべての分布についての最悪の期待損失を最小化するミニマックス最適化として WDRO 問題を定式化する。
• 共役双対性と台関数を用いて WDRO 問題の取り扱いやすい凸再定式化を導出し、効率的な計算を可能にする。
• Wasserstein あいまいさ集合の双対表現を用いて、ロバスト最適化問題を正則化された経験的リスク最小化問題に変換する。
• 新しい正則化推定器を導出することで、フレームワークをさまざまな機械学習タスクに適用し、ロバスト性と一貫性の性質を継承する。

実験結果

リサーチクエスチョン

• RQ1 真のデータ分布が経験的分布と異なる場合でも効果を発揮する意思決定フレームワークをどのように構築できるか？
• RQ2 WDRO から得られる意思決定の理論的一貫性および外挿性能保証は何か？
• RQ3 WDRO は、最尤推定や最小平均二乗誤差推定といった古典的手法と比べて、ロバスト性および一般化性能においてどのように異なるか？
• RQ4 WDRO は正則化学習問題として再定式化可能か？その場合の正則化ペナルティ項は何か？
• RQ5 WDRO は分類、回帰、密度推定といった基本的学習タスクにどのような意味を持つのか？

主な発見

• WDRO は、高次元設定においても効率的に解ける取り扱いやすい凸最適化問題をもたらす。
• WDRO から得られる最適意思決定は、ややいなごろの正則性条件のもとで、厳密な外挿および漸近的一致性保証を享受する。
• WDRO 問題は、Wasserstein 距離に基づくペナルティ項に対応する正則化項を含む正則化された経験的リスク最小化問題に再定式化可能である。
• ロジスティック損失や二乗損失といった特定の損失関数に対して、WDRO の定式化は一般化性能を向上させる新しい正則化推定器を導く。
• 名目分布における推定誤差を考慮することで、最適化の過信の呪いを抑制する原理的アプローチを提供する。
• 分布差の測定として Wasserstein 距離を用いることで、標準的な経験的リスク最小化に比べ、分類および回帰タスクにおけるロバスト性が向上する。