[论文解读] Minimax Statistical Learning with Wasserstein Distances

Jaeho Lee, Maxim Raginsky|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning被引用 76

一句话总结

本文引入一种使用 Wasserstein 球作为不确定性集的极小极大统计学习框架，推导数据相关的一般化界限，并将该方法应用于基于传输的领域自适应，而无需显式估计传输映射。

ABSTRACT

As opposed to standard empirical risk minimization (ERM), distributionally robust optimization aims to minimize the worst-case risk over a larger ambiguity set containing the original empirical distribution of the training data. In this work, we describe a minimax framework for statistical learning with ambiguity sets given by balls in Wasserstein space. In particular, we prove generalization bounds that involve the covering number properties of the original ERM problem. As an illustrative example, we provide generalization guarantees for transport-based domain adaptation problems where the Wasserstein distance between the source and target domain distributions can be reliably estimated from unlabeled samples.

研究动机与目标

• 通过防范学习中的领域漂移来激励分布鲁棒性。
• 引入以经验分布为中心的带有 Wasserstein 不确定性集的局部极小极大风险。
• 在光滑性假设下推导数据相关的 minimax ERM 和过度风险的一般化界限。
• 在最优传输框架中给出一个依赖未标记数据的领域自适应界限。
• 将基于 Wasserstein 的方法与现有的领域自适应和鲁棒优化文献相连接。

提出的方法

• 定义以经验分布为中心的 p-Wasserstein 球作为不确定集 A(Pn)。
• 将局部极小极大风险 Rρ,p(P,f) = supQ ∈ Aw P R(Q,f) 及相应的极小极大 ERM 目标公式化。
• 利用 Kantorovich 对偶性将 Rρ,p(Q,f) 与对 λ 的优化以及代理函数 φ_{λ,f} 相关联。
• 推导基于覆盖数（熵积分）的数据相关的一般化界限，用于 Rρ,p(P,f)（定理 1）。
• 在均匀平滑性下获得过度风险界限（定理 2），以及在存在至少一个光滑的 f0 的较弱假设下的界限（定理 3）。
• 在 Courty 等人 的传输框架内给出一个领域自适应界限（定理 4），使用未标记的目标数据和估计的 Wasserstein 距离。

实验结果

研究问题

• RQ1 在带 Wasserstein 不确定性的局部极小极大风险与传统统计风险之间的关系是什么？
• RQ2 在 Wasserstein 基于不确定性下的经验风险最小化是否能够实现接近最优的局部极小极大风险？
• RQ3 在 Wasserstein 不确定性下，数据相关且参数无关（或最少参数化）的一般化/过度风险界限是什么？
• RQ4 如何利用基于 Wasserstein 的分布鲁棒性为领域自适应提供保证，而无需显式传输映射的估计？

主要发现

• 局部极小极大 ERM 的表现接近最优局部极小极大风险，且一般化界限会自适应不确定性半径和假设类的复杂度。
• 当 ρ = 0 时，界限回到普通 ERM 的收敛速度，显示在没有不确定性时与标准学习的一致性。
• 在均匀平滑性下，显式的过度风险界限随熵积分和不确定性半径的增长而变化，阐明鲁棒性与可学习性之间的权衡。
• 即使在较弱的假设下，也存在有意义的过度风险界限，且对 ρ 和样本量的依赖仍然有利。
• 在领域自适应中，该框架给出一个目标域的一般化界限，该界限通过源/目标分布之间估计的 Wasserstein 距离表达，而无需直接估计传输映射。