[论文解读] Entropic Gromov-Wasserstein Distances: Stability and Algorithms

Gabriel Rioux, Ziv Goldfeld+1 more|arXiv (Cornell University)|May 31, 2023

Medical Imaging Techniques and Applications被引用 4

一句话总结

本文提出了首个非渐近、全局收敛的算法，用于计算基于变分重构的熵性Gromov-Wasserstein（EGW）距离，该重构将EGW与熵性最优传输联系起来。通过利用重构目标函数的光滑性与凸性特性，并将Sinkhorn算法建模为一个不精确的梯度预言机，作者建立了对全局与局部解的收敛性，且给出了形式化的收敛速率；并证明了当正则化参数趋于零时，正则化问题的驻点收敛于未正则化GW问题的驻点。

ABSTRACT

The Gromov-Wasserstein (GW) distance quantifies discrepancy between metric measure spaces and provides a natural framework for aligning heterogeneous datasets. Alas, as exact computation of GW alignment is NP hard, entropic regularization provides an avenue towards a computationally tractable proxy. Leveraging a recently derived variational representation for the quadratic entropic GW (EGW) distance, this work derives the first efficient algorithms for solving the EGW problem subject to formal, non-asymptotic convergence guarantees. To that end, we derive smoothness and convexity properties of the objective in this variational problem, which enables its resolution by the accelerated gradient method. Our algorithms employs Sinkhorn's fixed point iterations to compute an approximate gradient, which we model as an inexact oracle. We furnish convergence rates towards local and even global solutions (the latter holds under a precise quantitative condition on the regularization parameter), characterize the effects of gradient inexactness, and prove that stationary points of the EGW problem converge towards a stationary point of the unregularized GW problem, in the limit of vanishing regularization. We provide numerical experiments that validate our theory and empirically demonstrate the state-of-the-art empirical performance of our algorithm.

研究动机与目标

• 为熵性Gromov-Wasserstein（EGW）计算填补理论保证的空白，此前缺乏非渐近收敛速率与全局最优性界。
• 开发考虑Sinkhorn固定点迭代中不精确性的EGW高效算法。
• 建立EGW问题为凸或局部凸的条件，并推导在凸与非凸情形下的收敛速率。
• 分析当正则化参数趋于零时，EGW解的极限行为，证明其收敛于未正则化GW问题的驻点。
• 提供EGW变分表示的稳定性分析，从而支持使用加速梯度方法并具备形式化收敛保证。

提出的方法

• 作者利用Zhang等人（2022a）推导出的二次EGW距离的变分表示，将EGW重构为关于辅助矩阵变量A的最小化问题。
• 重构后的目标函数包含A的Frobenius范数项，以及一个由A参数化的代价函数的熵性最优传输（EOT）问题。
• 建立了目标函数的光滑性与凸性特性，从而支持使用加速梯度方法进行优化。
• 通过Sinkhorn固定点迭代近似计算梯度，将其建模为具有量化误差界的一类不精确预言机。
• 在全局（凸）与局部（非凸）情形下推导出收敛速率，明确依赖于正则化参数与不精确性程度。
• 采用Gamma收敛技术，证明当ε → 0时，EGW问题的驻点收敛于未正则化GW问题的驻点。

实验结果

研究问题

• RQ1 我们能否设计一种具有非渐近收敛保证的EGW距离计算算法？
• RQ2 在何种条件下EGW问题为凸或局部凸？这如何影响收敛性？
• RQ3 Sinkhorn算法中的不精确性如何影响整体优化过程的收敛性？
• RQ4 当正则化参数ε趋于零时，正则化EGW问题的驻点是否收敛于未正则化GW问题的驻点？
• RQ5 EGW的变分重构是否可用于推导高效、稳定且全局收敛的优化算法？

主要发现

• 当目标函数为凸时，所提算法在正则化参数满足精确量化条件的前提下，可实现对全局最小值的非渐近收敛速率O(1/k²)。
• 在非凸情形下，算法以O(1/k)的速率收敛至驻点，且显式依赖于Sinkhorn迭代的不精确性。
• 作者证明了正则化问题最小化序列的任意聚点在ε → 0时收敛于未正则化GW问题的最小化点。
• 对变分问题的稳定性分析表明，目标函数在解邻域内具有光滑性与凸性，从而支持使用加速梯度方法。
• 该算法的计算复杂度与已知最优的O(N²)二次EGW复杂度一致，但此前方法缺乏形式化收敛保证。
• 本文证明了Sinkhorn固定点迭代引入的不精确性是受控的，且不会阻碍收敛，误差传播被显式刻画。