[论文解读] (Martingale) Optimal Transport And Anomaly Detection With Neural Networks: A Primal-dual Algorithm

Pierre Henry‐Labordère|arXiv (Cornell University)|Apr 9, 2019

Risk and Portfolio Optimization参考文献 17被引用 13

一句话总结

本文提出了一种原始-对偶神经网络算法，用于在扭曲条件（twist condition）下求解（鞅）最优传输问题，结合了随机梯度下降与Arrow-Hurwicz型更新。该方法在高维场景下实现了快速收敛与稳定性能，优于熵松弛法与切割平面法，并通过学习分布之间的传输映射，实现了有效的异常检测。

ABSTRACT

In this paper, we introduce a primal-dual algorithm for solving (martingale) optimal transportation problems, with cost functions satisfying the twist condition, close to the one that has been used recently for training generative adversarial networks. As some additional applications, we consider anomaly detection and automatic generation of financial data.

研究动机与目标

• 开发一种可扩展、可微分的算法，用于在高维设置下求解（鞅）最优传输问题。
• 通过引入基于神经网络的随机原始-对偶框架，解决现有方法（如熵松弛法与切割平面算法）的局限性。
• 通过从参考分布到真实数据学习传输映射，实现异常检测的实际应用。
• 通过基于神经网络的Arrow-Hurwicz方法实现，确保在高维最优传输问题中的收敛性与稳定性。
• 通过经验证的数值基准，展示该方法在计算Wasserstein距离与求解MOT问题方面的有效性。

提出的方法

• 该算法基于Monge-Kantorovich对偶性构建原始-对偶公式，其中对偶变量由神经网络参数化。
• 采用随机梯度下降更新对偶变量（u_θ, h_θ）与传输映射T_ω，使用随机Arrow-Hurwicz方案。
• 在代价函数上施加扭曲条件，确保唯一最优传输映射的存在性。
• 通过梯度上升最大化原始目标函数，同时通过惩罚项与梯度更新强制执行对偶约束。
• 算法在更新对偶变量与传输映射之间交替进行，并通过随机梯度下降周期性地优化传输映射。
• 通过从基分布到真实数据训练传输映射，将框架扩展至异常检测，随后通过扰动潜在空间生成异常样本。

实验结果

研究问题

• RQ1 原始-对偶神经网络算法能否在扭曲条件下高效求解高维（鞅）最优传输问题？
• RQ2 与熵松弛法和切割平面法相比，该算法在收敛速度与稳定性方面表现如何？
• RQ3 通过扰动参考分布的潜在空间，所学习的传输映射是否可用于异常检测？
• RQ4 在高维场景下（d=10,20）计算Wasserstein距离时，该算法是否保持准确度与稳定性？
• RQ5 随机Arrow-Hurwicz更新方案在多大程度上能确保收敛至真实最优传输解？

主要发现

• 原始-对偶算法的收敛速度显著快于熵松弛法，在d=1时收敛速度提升10^4倍，在d=10,20时提升10^3倍。
• 在d=2的2-Wasserstein距离计算中，该算法实现了稳定收敛，而熵松弛法因对ε的选择敏感而表现出不稳定性。
• 在c(s₁,s₂) = (s₁+s₂)³的MOT设置下，该算法收敛至精确解9.19，与单纯形基准结果一致。
• 该算法成功学习了从正态分布到对数正态分布的传输映射，使2-Wasserstein距离在迭代过程中降至零。
• 异常检测实验表明，扰动样本（G + 3×sign(G)）位于真实数据分布的边缘，证实了异常定位的有效性。
• 该方法在高维场景（d=20）中表现出鲁棒性与可扩展性，保持快速收敛与精确估计。