[論文レビュー] Entropic Gromov-Wasserstein Distances: Stability and Algorithms

Gabriel Rioux, Ziv Goldfeld+1 more|arXiv (Cornell University)|May 31, 2023

Medical Imaging Techniques and Applications被引用数 4

ひとこと要約

本稿では、エントロピー正則化最適輸送にリンクする変分再定式化を用いて、エントロピーGromov-Wasserstein（EGW）距離を計算する初めての非漸近的でグローバル収束性を有するアルゴリズムを提案する。再定式化された目的関数の滑らかさと凸性の性質を活用し、Sinkhornのアルゴリズムを不正確な勾配オракルとしてモデル化することで、グローバルおよび局所解への収束を形式的なレートで確立し、正則化項をゼロに近づけると、正則化された問題の停留点が非正則化GW問題の停留点に収束することを証明する。

ABSTRACT

The Gromov-Wasserstein (GW) distance quantifies discrepancy between metric measure spaces and provides a natural framework for aligning heterogeneous datasets. Alas, as exact computation of GW alignment is NP hard, entropic regularization provides an avenue towards a computationally tractable proxy. Leveraging a recently derived variational representation for the quadratic entropic GW (EGW) distance, this work derives the first efficient algorithms for solving the EGW problem subject to formal, non-asymptotic convergence guarantees. To that end, we derive smoothness and convexity properties of the objective in this variational problem, which enables its resolution by the accelerated gradient method. Our algorithms employs Sinkhorn's fixed point iterations to compute an approximate gradient, which we model as an inexact oracle. We furnish convergence rates towards local and even global solutions (the latter holds under a precise quantitative condition on the regularization parameter), characterize the effects of gradient inexactness, and prove that stationary points of the EGW problem converge towards a stationary point of the unregularized GW problem, in the limit of vanishing regularization. We provide numerical experiments that validate our theory and empirically demonstrate the state-of-the-art empirical performance of our algorithm.

研究の動機と目的

• エントロピーGromov-Wasserstein（EGW）計算における理論的保証のギャップを埋める。これまでは非漸近的収束レートとグローバル最適性の境界が欠けていた。
• 勾配の計算に用いられるSinkhornの固定点反復における不正確性を考慮した、EGWのための効率的アルゴリズムを開発すること。
• EGW問題が凸である条件を確立し、凸および非凸の両状態において収束レートを導出すること。
• 正則化項をゼロに近づける際のEGW解の極限挙動を分析し、正則化されていないGW問題の停留点に収束することを証明すること。
• EGWの変分表現の安定性分析を提供し、加速勾配法を形式的な収束保証とともに適用可能にする。

提案手法

• 著者たちは、Zhangら（2022a）が導出した2次EGW距離の変分表現を活用し、EGWを補助行列変数Aに関する最小化問題に再定式化する。
• 再定式化された目的関数は、Aにおけるフロベニウスノルム項と、Aでパrameter化されたコスト関数を有するエントロピー最適輸送（EOT）問題を組み合わせる。
• 目的関数の滑らかさと凸性の性質を確立し、最適化に加速勾配法を適用可能にする。
• 勾配計算は、誤差境界が明確に定量化された不正確オラクルとしてモデル化されたSinkhornの固定点反復により近似される。
• 正則化および不正確性の依存関係を明示的に含む、グローバル（凸）およびローカル（非凸）の両状態における収束レートを導出する。
• ガンマ収束の技術を用いて、ε → 0 のとき、EGW問題の停留点が非正則化GW問題の停留点に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 エントロピーGromov-Wasserstein距離を計算するアルゴリズムを、非漸近的収束保証を備えて設計できるか？
• RQ2 EGW問題が凸または局所凸である条件は何か？ そして、これは収束にどのように影響するか？
• RQ3 Sinkhornのアルゴリズムにおける不正確性は、全体の最適化手順の収束にどのように影響するか？
• RQ4 正則化パrameter ε がゼロに近づくとき、正則化されたEGW問題の停留点は、非正則化GW問題の停留点に収束するか？
• RQ5 EGWの変分再定式化を用いて、効率的で安定的かつグローバルに収束する最適化アルゴリズムを導出できるか？

主な発見

• 目的関数が凸である場合、正則化パrameterに関する明確な定量的条件のもとで、提案アルゴリズムはグローバル最小値への非漸近的収束レート O(1/k²) を達成する。
• 非凸状態では、アルゴリズムは不正確性に依存する明示的な依存関係を有する O(1/k) のレートで停留点に収束する。
• 著者たちは、正則化された問題の最小化点の列の任意のクラスターポイントが ε → 0 のとき、非正則化GW問題の最小化点に収束することを証明する。
• 変分問題の安定性解析により、目的関数が解の近傍で滑らかで凸であることが保証され、加速勾配法の適用が可能になる。
• アルゴリズムの計算複雑度は、2次EGWの最良の既知の O(N²) 複雑度と一致するが、従来の手法とは異なり、形式的な収束保証を有する。
• Sinkhornの固定点反復によって生じる不正確性は有界であり、収束を妨げないことが証明され、誤差伝播が明示的に特徴づけられている。