[論文レビュー] Minimax Statistical Learning with Wasserstein Distances

Jaeho Lee, Maxim Raginsky|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning被引用数 76

ひとこと要約

この論文は Wasserstein-ball を曖昧性集合として用いる minimax 統計学習フレームワークを提案し、データ依存の一般化境界を導出し、transport-based domain adaptation を輸送マップを明示的に推定することなく適用します。

ABSTRACT

As opposed to standard empirical risk minimization (ERM), distributionally robust optimization aims to minimize the worst-case risk over a larger ambiguity set containing the original empirical distribution of the training data. In this work, we describe a minimax framework for statistical learning with ambiguity sets given by balls in Wasserstein space. In particular, we prove generalization bounds that involve the covering number properties of the original ERM problem. As an illustrative example, we provide generalization guarantees for transport-based domain adaptation problems where the Wasserstein distance between the source and target domain distributions can be reliably estimated from unlabeled samples.

研究の動機と目的

• 分布的ロバスト性を動機づけるため、学習におけるドメインドリフトからの保護。
• 経験的分布を中心とした Wasserstein 曖昧性集合を用いた局所 minimax リスクを導入。
• 滑らかさの仮定の下で minimax ERM および過剰リスクのデータ依存の一般化境界を導出。
• unlabeled データを利用したCourty らの輸送フレームワーク内でのドメイン適応境界を提供。
• Wasserstein ベースのアプローチを既存のドメイン適応およびロバスト最適化の文献と結びつける。

提案手法

• 経験的分布の周りに p-Wasserstein ball を曖昧性集合 A(Pn) として定義。
• 局所 minimax リスク Rρ,p(P,f) = supQ in Aw of P R(Q,f) およびそれに対応する minimax ERM 目的を定式化。
• Kantorovich 双対性を用いて Rρ,p(Q,f) を lambda と代理関数 φ_{lambda,f} の最適化に関連付ける。
• F のカバリング数（エントロピー積分）の観点から Rρ,p(P,f) のデータ依存の一般化境界を導出（定理1）。
• 一様滑らかさの下での過剰リスク境界（定理2）および少なくとも一つの滑らかな f0 が存在するという弱い仮定の下での境界（定理3）を得る。
• 未ラベルターゲットデータと推定された Wasserstein 距離を用いた Courty らの輸送フレームワーク内のドメイン適応境界（定理4）を提示。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein 曖昧性の下での局所 minimax リスクは従来の統計リスクとどのように関連するか？
• RQ2 Wasserstein ベースの曖昧性の下での経験的リスク最小化は、近似的に最適な局所 minimax リスクを達成できるか？
• RQ3 Wasserstein 曖昧性の下でのデータ依存・パラメータなし（あるいは最小限のパラメータ化）な一般化/過剰リスク境界は何か？
• RQ4 Wasserstein ベースの分布的ロバスト性は、輸送マップの明示的推定なしにドメイン適応に対する保証を提供できるか？

主な発見

• 局所 minimax ERM は最適な局所 minimax リスクに近い性能を示し、一般化境界は曖昧性半径と仮説クラスの複雑さに適応する。
• rho = 0 のとき境界は通常の ERM の速度を回復し、曖昧性がない場合の標準的学習と整合する。
• 一様滑らかさの下で、明示的な過剰リスク境界はエントロピー積分と曖昧性半径に比例しており、ロバスト性と学習可能性のトレードオフを明確にする。
• 弱い仮定でも、rho とサンプルサイズに有利な依存を示す意味のある過剰リスク境界が存在する。
• ドメイン適応では、ソースとターゲット分布間の推定 Wasserstein 距離を介して、直接的な輸送マップ推定を必要とせずターゲットドメインの一般化境界を与える。