[论文解读] Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections

Kimia Nadjahi, Alain Durmus+3 more|arXiv (Cornell University)|Jun 29, 2021

Geometric Analysis and Curvature Flows参考文献 38被引用 5

一句话总结

本文通过利用高维随机投影中的测度集中现象，提出了一种确定性、无需超参数的Sliced-Wasserstein距离（SW）近似方法。与蒙特卡洛采样不同，该方法利用高维投影趋于高斯分布的特性，实现了快速、精确且计算高效的SW估计，且在弱依赖条件下，其非渐近误差界随维度增加而消失。

ABSTRACT

The Sliced-Wasserstein distance (SW) is being increasingly used in machine learning applications as an alternative to the Wasserstein distance and offers significant computational and statistical benefits. Since it is defined as an expectation over random projections, SW is commonly approximated by Monte Carlo. We adopt a new perspective to approximate SW by making use of the concentration of measure phenomenon: under mild assumptions, one-dimensional projections of a high-dimensional random vector are approximately Gaussian. Based on this observation, we develop a simple deterministic approximation for SW. Our method does not require sampling a number of random projections, and is therefore both accurate and easy to use compared to the usual Monte Carlo approximation. We derive nonasymptotical guarantees for our approach, and show that the approximation error goes to zero as the dimension increases, under a weak dependence condition on the data distribution. We validate our theoretical findings on synthetic datasets, and illustrate the proposed approximation on a generative modeling problem.

研究动机与目标

• 解决高维设置下基于蒙特卡洛采样的Sliced-Wasserstein距离（SW）估计的高计算成本问题。
• 为蒙特卡洛采样提供一种无需调整投影数量 $ L $ 的确定性替代方法。
• 在弱依赖条件下，为SW近似误差提供非渐近理论保证。
• 通过用确定性、可扩展的替代方法替换蒙特卡洛SW，加速生成建模及其他依赖SW的机器学习任务的训练。
• 在合成数据和图像生成任务中展示该方法的有效性，结果表明其在速度和质量上均优于基于蒙特卡洛的SW。

提出的方法

• 该方法利用测度集中现象：弱依赖数据的高维随机投影会集中在高斯分布附近。
• 它用基于投影极限高斯分布的确定性近似，替代了对随机投影的蒙特卡洛期望。
• 该近似基于文献[26]中对投影分布与其高斯极限之间Wasserstein距离的界推导得出。
• 最终的SW估计通过数据均值和协方差的闭式运算计算得出，避免了采样或优化过程。
• 该方法通过PyTorch的排序操作高效实现，支持GPU加速，并实现每轮训练的低计算开销。
• 在生成建模中，通过比较正则化协方差矩阵的特征表示，强制实现弱依赖性。

实验结果

研究问题

• RQ1 是否可以利用测度集中现象，构建一种确定性、无需超参数的Sliced-Wasserstein距离近似？
• RQ2 随着数据维度增加，该确定性SW近似的非渐近误差行为如何？
• RQ3 该近似误差如何随维度变化？在何种数据分布依赖假设下成立？
• RQ4 该确定性SW近似在计算效率和生成模型质量方面是否优于基于蒙特卡洛的SW？
• RQ5 该方法是否适用于真实世界机器学习任务（如图像生成），特别是在数据特征呈弱依赖性时？

主要发现

• 所提出的确定性SW近似在计算速度上显著优于蒙特卡洛方法：在CelebA数据集上，CPU每轮训练耗时不足3秒，而蒙特卡洛方法约为45分钟。
• 近似误差随维度增加而减小，在数据分布满足弱依赖条件时趋于零。
• 在合成数据上，近似误差的经验收敛速率快于理论界的 $ d^{-1/8} $，表明该界可能偏保守。
• 在图像生成任务中，使用该SW近似的 reg-det-SWG 模型生成了更高质量的图像，且训练时间与基于蒙特卡洛的SWG相当或更短。
• 该方法消除了对调整投影数量 $ L $ 的需求，降低了超参数敏感性，简化了实现过程。
• 理论误差界为 $ O(d^{-1/2}) $（针对对角协方差高斯分布），作者建议对特定分布可能获得更紧的界。