[论文解读] Learning Cost Functions for Optimal Transport

Ma, Shaojun, Haodong Sun+3 more|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 45被引用 6

一句话总结

本论文提出了一种新颖的凸优化框架，用于通过将逆最优传输（OT）重新表述为无约束问题，来学习最优传输中的代价函数，从而避免双层优化带来的计算瓶颈。该方法提出了两种算法——基于Sinkhorn-Knopp的矩阵缩放法用于离散OT，以及基于深度神经网络的方法用于连续OT，相较于先前方法在效率和精度方面表现更优。

ABSTRACT

Inverse optimal transport (OT) refers to the problem of learning the cost function for OT from observed transport plan or its samples. In this paper, we derive an unconstrained convex optimization formulation of the inverse OT problem, which can be further augmented by any customizable regularization. We provide a comprehensive characterization of the properties of inverse OT, including uniqueness of solutions. We also develop two numerical algorithms, one is a fast matrix scaling method based on the Sinkhorn-Knopp algorithm for discrete OT, and the other one is a learning based algorithm that parameterizes the cost function as a deep neural network for continuous OT. The novel framework proposed in the work avoids repeatedly solving a forward OT in each iteration which has been a thorny computational bottleneck for the bi-level optimization in existing inverse OT approaches. Numerical results demonstrate promising efficiency and accuracy advantages of the proposed algorithms over existing state-of-the-art methods.

研究动机与目标

• 解决从观测到的运输计划中学习最优传输代价函数的挑战，这对准确的数据表示和推理至关重要。
• 克服现有逆OT双层优化方法在计算上的低效性，这些方法需要反复求解前向OT问题。
• 提出一种通用的、无约束的凸优化形式化逆OT问题，支持可定制的正则化，并支持理论分析。
• 为逆OT问题中的解唯一性及对偶变量有界变异性提供理论保证。
• 设计高效的数值算法，可在不重复求解前向OT问题的前提下扩展至高维设置。

提出的方法

• 利用熵正则化OT框架，将逆OT表述为无约束凸优化问题，从而实现高效优化并支持理论分析。
• 提出一种基于Sinkhorn-Knopp算法的矩阵缩放算法，通过交替更新对偶变量和代价矩阵来求解离散逆OT问题。
• 提出一种基于深度学习的方法，将代价函数参数化为神经网络，以实现在连续OT设置下的端到端复杂代价结构学习。
• 在逆OT公式中引入正则化，以促进所学习代价函数的平滑性或稀疏性等期望属性。
• 采用带变量重缩放的块坐标下降（BCD）方法，以保持对偶变量有界，确保数值稳定性和收敛性。
• 采用重缩放策略，将对偶变量维持在有界集合内，从而通过已知的Lipschitz-光滑问题BCD收敛结果建立收敛保证。

实验结果

研究问题

• RQ1 逆最优传输能否被重新表述为无约束凸优化问题，以避免双层优化带来的计算负担？
• RQ2 在所提出的公式下，逆OT问题的理论性质（如解唯一性、对偶变量有界变异性）是否成立？
• RQ3 如何设计高效的数值算法，以在不重复求解前向OT问题的前提下求解逆OT？
• RQ4 深度神经网络能否有效参数化连续逆OT中的代价函数，从而实现灵活且数据驱动的代价学习？
• RQ5 对于所提出的算法，特别是带约束变量的块坐标下降方法，可建立何种收敛保证？

主要发现

• 所提出的逆OT公式为无约束且凸，支持高效优化，并可对解的唯一性和稳定性进行理论分析。
• 基于Sinkhorn-Knopp的矩阵缩放算法以全局次线性收敛率O(1/k)收敛，如定理10中的收敛界所示。
• 通过重缩放策略保持对偶变量有界，从而确保数值稳定性并支持收敛性保证。
• 基于深度学习的方法成功将代价函数参数化为神经网络，从而在连续OT设置下实现灵活且数据驱动的代价学习。
• 数值结果表明，两种所提算法在效率和精度方面均优于当前最先进方法，尤其在高维设置下表现更优。
• 该框架避免了传统双层优化中反复求解前向OT的问题，显著降低了逆OT的计算成本。