[論文レビュー] Wasserstein Distributional Robustness and Regularization in Statistical Learning.

Rui Gao, Xi Chen+1 more|arXiv (Cornell University)|Dec 17, 2017

Risk and Portfolio Optimization参考文献 48被引用数 89

ひとこと要約

本稿は、Wasserstein距離を用いた分布的ロバスト最適化フレームワークを提案し、統計的学習における一般化を向上させる。Wasserstein分布的ロバスト性が漸近的に勾配ノルムペナルティによる正則化と同等であることが示され、高次元で非凸な問題、特にWasserstein GANsによる深層学習においても、原理的かつ一貫した正則化手法を提供する。

ABSTRACT

A central question in statistical learning is to design algorithms that not only perform well on training data, but also generalize to new and unseen data. In this paper, we tackle this question by formulating a distributionally robust stochastic optimization (DRSO) problem, which seeks a solution that minimizes the worst-case expected loss over a family of distributions that are close to the empirical distribution in Wasserstein distances. We establish a connection between such Wasserstein DRSO and regularization. More precisely, we identify a broad class of loss functions, for which the Wasserstein DRSO is asymptotically equivalent to a regularization problem with a gradient-norm penalty. Such relation provides new interpretations for problems involving regularization, including a great number of statistical learning problems and discrete choice models (e.g. multinomial logit). The connection suggests a principled way to regularize high-dimensional, non-convex problems. This is demonstrated through the training of Wasserstein generative adversarial networks in deep learning.

研究の動機と目的

• 訓練データを超えた一般化の課題に取り組む。
• 分布の不確実性下でのロバスト最適化の原理的枠組みを構築する。
• 分布的ロバスト最適化と正則化の理論的関係を確立する。
• 多項ロジスティック回帰や深層ニューラルネットワークのようなモデルにおける正則化の新たな解釈を提供する。
• 本フレームワークの実用的有用性を、特にWasserstein GANの学習において示す。

提案手法

• 訓練済み分布のWassersteinボール内での分布に対して、期待損失の最悪ケースを最小化する分布的ロバストな確率的最適化（DRSO）問題を定式化する。
• DRSO問題が勾配ノルムペナルティによる正則化問題と漸近的に同等であるような広範な損失関数のクラスを同定する。
• 最適輸送理論および経験過程理論の道具を用いて、DRSOと正則化の間の漸近的同等性を導出する。
• 理論的枠組みを深層学習に応用し、Wasserstein GANの学習におけるその関連性を示す。
• Wasserstein DRSOが引き起こすロバスト性が、高次元で非凸な設定において、モデルの勾配挙動を暗黙的に正則化することを示す。
• 既存の正則化手法がWasserstein距離に基づく分布的ロバスト性から生じることを統一的に解釈する視点を提供する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein距離による分布的ロバスト性は、統計的学習における一般化をどのように向上させるか？
• RQ2 分布的ロバスト最適化と正則化の理論的関係は何か？
• RQ3 どの損失関数のクラスにおいて、Wasserstein距離下での分布的ロバスト性が勾配ノルム正則化に帰着するか？
• RQ4 このフレームワークは、深層ニューラルネットワークのような非凸的・高次元問題に適用可能か？
• RQ5 このアプローチは、生成モデル（例：Wasserstein GAN）における学習の安定性と性能をどのように向上させるか？

主な発見

• 広範な損失関数のクラスにおいて、Wasserstein DRSO問題は漸近的に勾配ノルムペナルティによる正則化問題と同等である。
• この同等性により、Wasserstein距離下での分布的ロバスト性としての正則化の原理的解釈が可能になる。
• 本フレームワークは、多項ロジスティック回帰のような離散的選択モデルにおける正則化の理解と設計のための新たな理論的基盤を提供する。
• 本アプローチにより、勾配挙動の暗黙的正則化を通じて、高次元で非凸な問題におけるロバストな一般化が可能になる。
• Wasserstein GANの学習における実証により、深層学習における学習の安定性と性能が向上することが示された。
• 理論的結果から、Wasserstein距離による分布的ロバスト性が自然に正則化を誘発し、モデルの一般化性能を向上させることを示唆している。