[論文レビュー] Regularization via Mass Transportation

Soroosh Shafieezadeh-Abadeh, Daniel Kühn+1 more|arXiv (Cornell University)|Oct 27, 2017

Machine Learning and Algorithms参考文献 75被引用数 54

ひとこと要約

本論文は、経験的分布の周りに Wasserstein の曖昧性集合を用いた分布的に頑健な学習を導入し、実用的な凸再構成を導出して新たな正則化効果と一般化保証を生み出す。カーネル法およびニューラルネットワークへ拡張可能。

ABSTRACT

The goal of regression and classification methods in supervised learning is to minimize the empirical risk, that is, the expectation of some loss function quantifying the prediction error under the empirical distribution. When facing scarce training data, overfitting is typically mitigated by adding regularization terms to the objective that penalize hypothesis complexity. In this paper we introduce new regularization techniques using ideas from distributionally robust optimization, and we give new probabilistic interpretations to existing techniques. Specifically, we propose to minimize the worst-case expected loss, where the worst case is taken over the ball of all (continuous or discrete) distributions that have a bounded transportation distance from the (discrete) empirical distribution. By choosing the radius of this ball judiciously, we can guarantee that the worst-case expected loss provides an upper confidence bound on the loss on test data, thus offering new generalization bounds. We prove that the resulting regularized learning problems are tractable and can be tractably kernelized for many popular loss functions. We validate our theoretical out-of-sample guarantees through simulated and empirical experiments.

研究の動機と目的

• 分布的曖昧性の下で最悪ケースリスクとして正則化を動機づける。
• データの摂動をヘッジするため、経験的分布の周りに Wasserstein-ball 不確実性集合を導入する。
• この枠組みの下で、線形・カーネル化されたモデルおよびニューラルネットワークモデルの扱いやすい凸再構成を開発する。
• 質量輸送を通じた古典的正則化の確率的解釈を提供し、一般化保証を確立する。

提案手法

• 分布的不確実性を捉えるために、経験的分布の周りに Wasserstein ball を定義する。
• 回帰/分類損失に対するミニマックス目的として、分布的に頑健な学習問題を式化する。
• 部分的に線形な損失またはリプシッツ損失をもつ線形仮説に対して、扱いやすい有限凸再構成を証明する。
• 非線形仮説空間を可能にする kernelizable なリフト形式を示す。
• 凸正則化代替物と確率的近接最適化を用いてニューラルネットワークへアプローチを拡張する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein ball に対する最悪ケースの期待損失は、アウト・オブ・サンプルの性能保証として有効か。
• RQ2 一般的な損失関数に対して、分布的に頑健な目的関数が扱いやすい凸再構成を認めるのはいつか。
• RQ3 カーネル法やニューラルネットワークなどの非線形モデルへこの枠組みをどう拡張できるか。
• RQ4 Wasserstein ベースの頑健性から現れる古典的正則化の確率的解釈は何か。
• RQ5 提案されたモデルは、仮説空間の複雑さに依存せず意味のある一般化境界を提供するか。

主な発見

• Wasserstein ball 上の最悪ケースの期待損失は、最小限の仮定の下でテスト損失に対する上限信頼区間を提供する。
• 一般的な損失（Huber、epsilon-insensitive、pinball、hinge、logistic）と線形仮説の場合、ロバスト問題は扱いやすい凸計算問題または kernelizable な定式化に還元される。
• このアプローチは、仮説空間が有界で集中化結果が得られるとき、次元に依存しない新しい一般化境界を生み出す。
• regularization terms in classical models appear as limits of transportation costs in the Wasserstein framework, offering probabilistic interpretations.
• Robustness under Wasserstein ambiguity aligns with robustness to data perturbations and can recover classical regularization as a special case when transportation cost in the output space grows large.
• The framework supports constructive computation of worst-case distributions for stress testing and calibration.