[論文レビュー] Wasserstein Distributionally Robust Optimization and Variation Regularization

Rui Gao, Xi Chen+1 more|arXiv (Cornell University)|Dec 17, 2017

Risk and Portfolio Optimization被引用数 12

ひとこと要約

この論文は、一般化された正則化形式と呼ばれる変動正則化（variation regularization）に一般化されたWasserstein分布ロバスト最適化（DRO）を結びつける一般性を確立している。これは、全変動、リプシッツ、勾配正則化を一般化するものである。非凸かつ非滑らかで、ユークリッド空間および非ユークリッド空間上での広範な損失関数に対して、Wasserstein DROが小さな誤差項を除いて漸近的に変動正則化と同等であることを証明し、敵対的ロバスト学習のための新たな一般化保証を提供する。

ABSTRACT

Wasserstein distributionally robust optimization (DRO) has recently achieved empirical success for various applications in operations research and machine learning, owing partly to its regularization effect. Although connection between Wasserstein DRO and regularization has been established in several settings, existing results often require restrictive assumptions, such as smoothness or convexity, that are not satisfied for many problems. In this paper, we develop a general theory on the variation regularization effect of the Wasserstein DRO - a new form of regularization that generalizes total-variation regularization, Lipschitz regularization and gradient regularization. Our results cover possibly non-convex and non-smooth losses and losses on non-Euclidean spaces. Examples include multi-item newsvendor, portfolio selection, linear prediction, neural networks, manifold learning, and intensity estimation for Poisson processes, etc. As an application of our theory of variation regularization, we derive new generalization guarantees for adversarial robust learning.

研究の動機と目的

• Wasserstein DROの経験的成功と、非凸的・非滑らかで非ユークリッド的設定における正則化効果との間の理論的ギャップを埋めること。
• 全変動正則化の一般理論を構築し、全変動や勾配正則化といった既存の正則化形式を統一・拡張すること。
• 最小限の仮定のもとで、Wasserstein DROと変動正則化の間の漸近的同等性を確立すること、1- Wasserstein DROを含む。
• 損失関数の局所的勾配のラデマッハ複雑度と結びつけることで、敵対的ロバスト学習のための新たな一般化境界を導出すること。
• 既存の同等性結果を、区分的滑らかで非凸な損失関数を含むより広い損失関数クラスへと拡張すること。

提案手法

• 損失関数の変動を定義する概念を導入し、これはデータ分布の小さなWasserstein摂動に対する期待損失の最大変化として定義される。
• p ∈ (1, ∞] におけるp-Wasserstein DROに対して、ロバスト最適化問題が、d²ᵖの剰余項を伴う変動正則化問題と漸近的に同等であることを証明する。
• 1-Wasserstein DROに対しては、サンドイッチ型の境界を確立する：ロバスト損失は調整された調整パラメータを伴う変動正則化項によって上界および下界で抑えられる。
• 実験的変動が高確率で真の変動を近似することを保証するため、下位等長性（lower isometry property）を用いる。
• 理論を応用して敵対的ロバスト学習のための一般化境界を導出し、経験的および母集団の敵対的リスクの差が、損失関数の局所的勾配のラデマッハ複雑度に依存することを示す。
• 多品目ニュースベンダー、ポートフォリオ選択、ニューラルネットワーク、多様体学習、点過程の強度推定など、多様な設定への適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein DROは、滑らかまたは凸でない損失関数を超えて、一般化された正則化形式と理論的に結びつけられるか？
• RQ2 非滑らかかつ非凸的設定におけるWasserstein DROと変動正則化との正確な関係は何か？
• RQ3 Wasserstein順序pの選択が正則化効果に与える影響は何か、特にp < 2およびp = 2の場合に注目する。
• RQ4 変動正則化の理論は、敵対的ロバスト学習のための新たな一般化保証を提供できるか？
• RQ5 古典的な同等性結果が失敗する状況でも、1-Wasserstein DROフレームワークは依然として変動を制御できるか？

主な発見

• p ∈ (1, ∞] に対して、Wasserstein DROは、d²ᵖのオーダーの剰余項を伴う変動正則化と漸近的に同等である。p < 2の場合にタイトである。
• p = 2 の場合、多品目ニュースベンダー、区分的線形効用関数を伴うポートフォリオ選択、およびリークy ReLUネットワークといった重要な応用において同等性が成立する。
• 1-Wasserstein DROに対しては、サンドイッチ定理により、正確な同等性が失敗してもロバスト損失の最小化が変動を制御することが示される。
• 敵対的ロバスト学習における一般化誤差は、古典的なR=(F)項に加えて、損失関数の局所的勾配のラデマッハ複雑度R=(|mF|)に依存する。
• 非ユークリッド空間に対しても理論は拡張可能であり、多様体学習におけるラプラシアン正則化やポアソン過程におけるスコア関数正則化の例で示されている。
• 従来の1-Wasserstein DROの同等性結果を一般化し、非凸的・非滑らかな損失関数を含む範囲へと強化した。