[論文レビュー] Distributionally Robust Stochastic Optimization with Wasserstein Distance

Rui Gao, Anton J. Kleywegt|arXiv (Cornell University)|Apr 8, 2016

Risk and Portfolio Optimization被引用数 97

ひとこと要約

本稿は、Wasserstein距離を用いて不確実性集合を定義する分布的ロバストな確率的最適化（DRSO）フレームワークを提案する。これにより、計算可能で解釈可能な最悪ケース分布の推定が可能となる。導出されたミニマックス問題に対して強い双対性を確立し、データ駆動型DRSOがロバスト最適化によって近似可能であることを示し、一般に成立する目的関数の成長率に関する条件下で、一次最適性条件を用いて明示的な最悪ケース分布を導出する。

ABSTRACT

Distributionally robust stochastic optimization (DRSO) is an approach to optimization under uncertainty in which, instead of assuming that there is a known true underlying probability distribution, one hedges against a chosen set of distributions. In this paper we first point out that the set of distributions should be chosen to be appropriate for the application at hand, and that some of the choices that have been popular until recently are, for many applications, not good choices. We next consider sets of distributions that are within a chosen Wasserstein distance from a nominal distribution. Such a choice of sets has two advantages: (1) The resulting distributions hedged against are more reasonable than those resulting from other popular choices of sets. (2) The problem of determining the worst-case expectation over the resulting set of distributions has desirable tractability properties. We derive a strong duality reformulation of the corresponding DRSO problem and construct approximate worst-case distributions explicitly via the first-order optimality conditions of the dual problem. Our contributions are four-fold. (i) We identify necessary and sufficient conditions for the existence of a worst-case distribution, which are naturally related to the growth rate of the objective function. (ii) We show that the worst-case distributions resulting from an appropriate Wasserstein distance have a concise structure and a clear interpretation. (iii) Using this structure, we show that data-driven DRSO problems can be approximated to any accuracy by robust optimization problems, and thereby many DRSO problems become tractable by using tools from robust optimization. (iv) Our strong duality result holds in a very general setting. As examples, we show that it can be applied to infinite-dimensional process control and intensity estimation for point processes.

研究の動機と目的

• 従来の不確実性集合、特にモーメント制約に基づくものに起因する過剰に保守的または現実的でない最悪ケース分布を生じるという、分布的ロバストな確率的最適化（DRSO）における限界を解消すること。
• データ駆動型不確実性をより適切に反映し、より現実的な最悪ケース分布をもたらすWasserstein距離に基づく不確実性集合の提案。
• 一般設定下で、導出されたDRSO問題に対する強い双対性の確立。これにより、計算可能な再定式化が可能となる。
• 目的関数の成長率に関する一般条件の下で、一次最適性条件を用いて最悪ケース分布の明示的構成を実現。解釈可能性と計算可能性を保証する。
• 本フレームワークが、プロセス制御や点過程の強度推定といった無限次元問題への応用が可能であることを示すこと。

提案手法

• 名目分布νを中心とする半径θのWassersteinボールを用いて不確実性集合を定義。これにより、距離空間上で分布が近接していることを保証する。
• DRSO問題の強い双対性再定式化を導出。これにより、ミニマックス問題が最適化に適した双対形式に変換される。
• 双対問題の一次最適性条件を解くことにより、最悪ケース分布を明示的に構成。明確な構造的形が得られる。
• Wasserstein距離の性質を活用して、双対形式を用いることで、無限次元設定へのフレームワークの適用を実現。
• Bolleyら[13]の濃度不等式を用い、経験的データに基づいてWasserstein半径θを設定。これにより、真の分布が不確実性集合に高確率で含まれることが保証される。
• データ駆動型DRSO問題が、任意の精度でロバスト最適化問題によって近似可能であることを示し、既存のロバスト最適化ツールの利用が可能となる。

実験結果

リサーチクエスチョン

• RQ1 WassersteinベースのDRSOフレームワークにおいて、最悪ケース分布が存在するための必要十分条件は何か？
• RQ2 不確実性集合がWassersteinボールによって定義される場合、最悪ケース分布をどのように明示的に構成できるか？
• RQ3 Wasserstein不確実性集合のもとで得られる最悪ケース分布の構造的形と解釈可能性は何か？
• RQ4 データ駆動型DRSO問題はロバスト最適化問題によって近似可能か？もしそうなら、どの程度の精度で近似可能か？
• RQ5 経験的データを用いて、Wassersteinボールの半径θを統計的に妥当に選択する方法は何か？

主な発見

• 最悪ケース分布の存在は、目的関数が無限大において十分に速く成長する場合に限り保証される。これは、関数の成長率に密接に関連する必要十分条件である。
• Wasserstein不確実性集合から得られる最悪ケース分布は、簡潔で解釈可能な構造を持つ。具体的には、名目分布から最悪ケースの尾部へ確率質量をシフトさせる形であり、最適性条件を用いて明示的な式が導出される。
• 線形目的関数の場合、最悪ケース分布はμ_t^q（t = VaR_α^ν[-w^Tξ]）として明示的に構成され、最悪ケースのVaRはWasserstein距離を含む積分方程式の唯一の解である。
• Wasserstein不確実性集合を用いたDRSO問題は、任意の精度でロバスト最適化問題によって近似可能であり、多くのDRSO問題が既存のロバスト最適化ツールを用いて計算可能となる。
• 経験的Wasserstein距離に関する濃度不等式を導出し、真の分布が不確実性集合に高確率で含まれるように半径θをデータ駆動で選択可能である。例えば95％の信頼水準で成立する。