[論文レビュー] Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality

Rui Gao|arXiv (Cornell University)|Sep 9, 2020

Risk and Portfolio Optimization被引用数 4

ひとこと要約

この論文は、次元の呪いに苦しむことなく、Wasserstein分布ロバスト最適化（DRO）に対する最初の有限標本性能保証を確立した。損失の変動に基づく新しい集中不等式と、損失変動に基づく局所化されたラデマッハ複雑度を導入することで、適切に選ばれた半径によって、Wasserstein DROが経験的損失と損失の正則性をバランスさせ、高次元設定でもロバストな一般化を保証することを示した。

ABSTRACT

Wasserstein distributionally robust optimization (DRO) aims to find robust and generalizable solutions by hedging against data perturbations in Wasserstein distance. Despite its recent empirical success in operations research and machine learning, existing performance guarantees for generic loss functions are either overly conservative due to the curse of dimensionality, or plausible only in large sample asymptotics. In this paper, we develop a non-asymptotic framework for analyzing the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problems. To the best of our knowledge, this gives the first finite-sample guarantee for generic Wasserstein DRO problems without suffering from the curse of dimensionality. Our results highlight that Wasserstein DRO, with a properly chosen radius, balances between the empirical mean of the loss and the variation of the loss, measured by the Lipschitz norm or the gradient norm of the loss. Our analysis is based on two novel methodological developments that are of independent interest: 1) a new concentration inequality controlling the decay rate of large deviation probabilities by the variation of the loss and, 2) a localized Rademacher complexity theory based on the variation of the loss.

研究の動機と目的

• 高次元性による過剰な保守性に苦しむことなく、Wasserstein DROに対する有限標本性能保証の欠如を解消すること。
• Wassersteinロバスト学習における事後性能を非漸近的枠組みで分析するためのフレームワークを構築すること。
• Lipschitzおよび勾配正則化問題と関連するWasserstein DROの一般化境界を確立すること。
• 損失の変動を活用することで、次元の呪いを打ち破る分布ロバスト最適化を実現すること。

提案手法

• 損失関数の変動に基づいて、大偏差確率を制御する新しい集中不等式を導入すること。
• 損失のリプシッツ性または勾配ノルムに基づく、局所化されたラデマッハ複雑度理論を構築すること。
• Wasserstein DROを、経験的リスクと損失の正則性（損失の変動で測定）のトレードオフとして定式化すること。
• 損失の変動を用いて局所化された複雑度測度を定義し、標本効率を向上させること。
• 損失の内因的正則性に比例してスケーリングする良好な有限標本境界を確立すること。
• 損失関数の弱い正則性条件の下で、データ次元に依存しない一般化境界を導出すること。

実験結果

リサーチクエスチョン

• RQ1 次元の増加に伴って劣化しない、Wasserstein DROに対する有限標本保証を確立できるか？
• RQ2 Wasserstein半径の選択が、経験的リスクと損失変動のバランスにどのように影響するか？
• RQ3 損失変動に基づく新しい集中不等式は、分布ロバスト学習における一般化境界を改善できるか？
• RQ4 損失変動に基づく局所化ラデマッハ複雑度は、DROにおける標本効率をどの程度向上させられるか？
• RQ5 有限標本で、高次元設定においてWasserstein DROを用いてロバストな一般化を達成できるか？

主な発見

• 本論文は、次元の増加に伴って劣化しない、一般化されたWasserstein DRO問題に対する最初の有限標本一般化境界を提供した。
• 提案された集中不等式は、損失の変動を用いて大偏差確率を制御し、よりタイトで次元に依存しない境界をもたらした。
• 損失変動を用いて局所化ラデマッハ複雑度を定義し、問題の内因的複雑性を反映する鋭い一般化境界を実現した。
• 最適な半径を用いたWasserstein DROは、経験的損失と損失正則性（リプシッツノルムまたは勾配ノルムで測定）の間で効果的にトレードオフを実現した。
• このフレームワークは、高次元設定でもロバスト性と一般化を保証し、DROにおける古典的次元の呪いを打ち破った。
• 理論的結果は、有限標本および任意のデータ分布に対して成り立つ非漸近的解析によって実証された。