[论文解读] MinMax Methods for Optimal Transport and Beyond: Regularization, Approximation and Numerics

Luca De Gennaro Aquino, Stephan Eckstein|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用 6

一句话总结

本文在 MinMax 框架下统一了广泛的一类最优传输及相关优化问题，展示了正则化如何实现有效的神经网络近似，并识别出源自生成对抗网络的算法技术以提升数值性能。主要贡献在于为使用深度学习求解最优传输问题提供了理论与实践基础，具备可证明的收敛性与稳定性。

ABSTRACT

We study MinMax solution methods for a general class of optimization problems related to (and including) optimal transport. Theoretically, the focus is on fitting a large class of problems into a single MinMax framework and generalizing regularization techniques known from classical optimal transport. We show that regularization techniques justify the utilization of neural networks to solve such problems by proving approximation theorems and illustrating fundamental issues if no regularization is used. We further study the relation to the literature on generative adversarial nets, and analyze which algorithmic techniques used therein are particularly suitable to the class of problems studied in this paper. Several numerical experiments showcase the generality of the setting and highlight which theoretical insights are most beneficial in practice.

研究动机与目标

• 将包括最优传输在内的多样化优化问题统一于单一 MinMax 框架之下。
• 将经典最优传输中的正则化技术推广至更广泛的问题类别。
• 通过近似定理为使用神经网络求解这些问题提供理论依据。
• 识别并适配适用于此类问题的生成对抗网络中的算法技术。
• 通过数值实验展示该框架的实际有效性。

提出的方法

• 构建一个通用的 MinMax 优化框架，涵盖最优传输及相关问题。
• 引入正则化技术以稳定解并支持神经网络近似。
• 证明近似定理，表明在正则化条件下神经网络可有效表示解。
• 与生成对抗网络（GANs）建立联系，并适配其算法策略，如对抗性训练动态。
• 通过数值实验在多种问题实例中验证该框架。
• 分析无正则化 MinMax 公式在数值行为上的失效模式，以凸显正则化的必要性。

实验结果

研究问题

• RQ1 如何构建一个统一的 MinMax 框架，以包含最优传输及相关问题？
• RQ2 正则化在实现稳定且精确的神经网络解中起到何种作用？
• RQ3 来自 GAN 的哪些算法技术最适用于求解此类 MinMax 问题？
• RQ4 在此设置下，神经网络近似的理论保证是什么？
• RQ5 缺乏正则化如何影响 MinMax 求解器的数值行为？

主要发现

• MinMax 框架中的正则化确保了解的稳定性，并支持有效的神经网络近似。
• 缺乏正则化时，MinMax 公式表现出根本性的数值不稳定性，阻碍可靠优化。
• 理论近似定理证实，神经网络可在控制误差下表示正则化 MinMax 问题的解。
• 来自 GAN 的算法技术，尤其是对抗性训练动态，在求解所提问题类别中极为有效。
• 数值实验证实了该框架在多样化最优传输及相关设置下的通用性与鲁棒性。
• 该框架成功地将最优传输的理论洞见与实际的深度学习方法相连接。