[论文解读] Orthogonal Estimation of Wasserstein Distances

Mark Rowland, Jiri Hron+4 more|arXiv (Cornell University)|Mar 9, 2019

3D Shape Modeling and Analysis被引用 16

一句话总结

本文提出投影Wasserstein距离，这是一种新型变体，通过使用正交投影，结合了切片Wasserstein距离的计算效率与完整Wasserstein距离的准确性。它在蒙特卡洛估计中引入正交耦合以降低方差，在生成建模和强化学习任务中表现出更优的稳定性和性能。

ABSTRACT

Wasserstein distances are increasingly used in a wide variety of applications in machine learning. Sliced Wasserstein distances form an important subclass which may be estimated efficiently through one-dimensional sorting operations. In this paper, we propose a new variant of sliced Wasserstein distance, study the use of orthogonal coupling in Monte Carlo estimation of Wasserstein distances and draw connections with stratified sampling, and evaluate our approaches experimentally in a range of large-scale experiments in generative modelling and reinforcement learning.

研究动机与目标

• 解决切片Wasserstein距离的局限性，后者可能因依赖一维边缘分布而造成较差的近似质量。
• 通过利用投影向量的正交耦合，提升Wasserstein距离蒙特卡洛估计的效率与准确性。
• 提出一种新型距离度量——投影Wasserstein距离，其在保持计算可处理性的同时保留了高维结构。
• 建立正交耦合与分层抽样之间的理论联系，以证明其降低方差的特性。
• 在大规模生成建模与强化学习基准上对所提方法进行实证评估，以展示其实际优势。

提出的方法

• 提出投影Wasserstein距离，作为切片Wasserstein与完整Wasserstein距离的混合形式，利用多个正交投影方向以更好地捕捉高维结构。
• 在蒙特卡洛采样中引入正交耦合，其中投影向量被选择为相互正交，以降低估计器的方差。
• 理论分析表明，正交耦合近似于分层抽样，从而实现对概率空间更均匀的覆盖。
• 使用正交投影方向进行蒙特卡洛采样，以估计切片与投影Wasserstein距离，提升收敛性与稳定性。
• 将在下游两个任务中应用正交耦合估计器：使用GAN的生成建模与强化学习中的策略优化。
• 在强化学习中采用基于惩罚的信任区域框架，以投影Wasserstein距离替代KL散度或标准Wasserstein距离，作为策略更新的约束。

实验结果

研究问题

• RQ1 能否设计一种新的Wasserstein距离变体，在保持切片Wasserstein距离计算效率的同时，提升近似质量？
• RQ2 投影方向的正交耦合如何影响Wasserstein距离蒙特卡洛估计器的方差？
• RQ3 在蒙特卡洛估计背景下，正交耦合与分层抽样之间存在何种理论关系？
• RQ4 使用投影Wasserstein距离与正交耦合是否能在生成建模中带来可测量的训练稳定性和性能提升？
• RQ5 正交耦合能否增强复杂动力系统中信任区域策略优化的有效性？

主要发现

• 投影Wasserstein距离通过整合多个正交投影的信息，相比标准切片Wasserstein距离，实现了更优的近似质量。
• 正交耦合显著降低了蒙特卡洛估计器的方差，从而带来更稳定、更精确的距离估计。
• 在HalfCheetah环境的强化学习中，投影Wasserstein信任区域方法相比基线方法实现了更高的累积奖励与更稳定的训练过程。
• 在Hopper环境中，由于动力学更简单，投影Wasserstein方法的优势不那么明显，表明其优势具有上下文依赖性。
• 实证结果表明，正交耦合方法是一种有效且近似的分层抽样形式，为其降低方差的特性提供了合理解释。
• 在生成建模中，所提方法由于改进了距离估计，使得GAN在高维设置下的训练更加稳定。