[논문 리뷰] Entropic Gromov-Wasserstein Distances: Stability and Algorithms

Gabriel Rioux, Ziv Goldfeld외 1명|arXiv (Cornell University)|2023. 05. 31.

Medical Imaging Techniques and Applications인용 수 4

한 줄 요약

이 논문은 엔트로픽 최적 운반 문제와의 연결을 통해 엔트로픽 그로모프-워싱어 거리(EGW)를 계산하기 위한 최초의 비점근적이고 전역 수렴성 보장이 있는 알고리즘을 제안한다. 변분 재구성 기반으로 EGW를 재정의함으로써, EGW를 엔트로픽 최적 운반 문제와 연결한다. 재구성된 목적함수의 미끄러움과 볼록성 성질을 활용하고, 싱크혼 알고리즘을 정확하지 않은 경사도 구함기로 모델링함으로써, 전역 및 국소 해에 대한 수렴 속도를 공식적으로 도출하며, 정규화가 사라질 때 정규화된 문제의 정류점이 비정규화된 GW 문제의 정류점으로 수렴함을 증명한다.

ABSTRACT

The Gromov-Wasserstein (GW) distance quantifies discrepancy between metric measure spaces and provides a natural framework for aligning heterogeneous datasets. Alas, as exact computation of GW alignment is NP hard, entropic regularization provides an avenue towards a computationally tractable proxy. Leveraging a recently derived variational representation for the quadratic entropic GW (EGW) distance, this work derives the first efficient algorithms for solving the EGW problem subject to formal, non-asymptotic convergence guarantees. To that end, we derive smoothness and convexity properties of the objective in this variational problem, which enables its resolution by the accelerated gradient method. Our algorithms employs Sinkhorn's fixed point iterations to compute an approximate gradient, which we model as an inexact oracle. We furnish convergence rates towards local and even global solutions (the latter holds under a precise quantitative condition on the regularization parameter), characterize the effects of gradient inexactness, and prove that stationary points of the EGW problem converge towards a stationary point of the unregularized GW problem, in the limit of vanishing regularization. We provide numerical experiments that validate our theory and empirically demonstrate the state-of-the-art empirical performance of our algorithm.

연구 동기 및 목표

• 이전에 비점근적 수렴 속도와 전역 최적성 경계가 없었던 엔트로픽 그로모프-워싱어(EGW) 계산의 이론적 보장을 메우기 위해.
• 기울기 계산에 사용되는 싱크혼 고정점 반복의 부정확성을 고려한 효율적인 EGW 알고리즘 개발을 위해.
• EGW 문제의 볼록성 조건을 확립하고, 볼록 및 비볼록 영역 모두에서 수렴 속도를 도출하기 위해.
• 정규화가 사라질 때 EGW 해의 점근적 행동을 분석하여, 정규화되지 않은 GW 문제의 정류점으로 수렴함을 증명하기 위해.
• EGW의 변분 표현의 안정성 분석을 제공하여 가속 경사도 방법을 공식적인 수렴 보장과 함께 사용할 수 있도록 하기 위해.

제안 방법

• 저자들은 Zhang 등(2022a)에서 유도한 이차형 엔트로픽 그로모프-워싱어 거리의 변분 표현을 활용하여, 보조 행렬 변수 A에 대한 최소화 문제로 EGW를 재구성한다.
• 재구성된 목적함수는 A에 대한 프로베니우스 노름 항과 A로 매개변수화된 비용 함수를 가진 엔트로픽 최적 운반(EOT) 문제를 포함한다.
• 목적함수의 부드러움과 볼록성 성질을 입증함으로써, 최적화에 가속 경사도 방법을 적용할 수 있도록 한다.
• 기울기 계산은 싱크혼의 고정점 반복을 사용하여 근사하며, 정량화된 오차 한계를 가진 정확하지 않은 오라클로 모델링한다.
• 정규화와 부정확성에 대한 명시적 의존도를 포함한, 전역(볼록) 및 국소(비볼록) 영역 모두에서 수렴 속도를 도출한다.
• 감마 수렴 기법을 사용하여, ε → 0일 때 정규화된 EGW 문제의 정류점이 비정규화된 GW 문제의 정류점으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 엔트로픽 그로모프-워싱어 거리를 계산하기 위한 비점근적 수렴 보장을 갖춘 알고리즘을 설계할 수 있는가?
• RQ2 EGW 문제의 볼록성 또는 국소 볼록성 조건은 무엇이며, 이는 수렴에 어떤 영향을 미치는가?
• RQ3 싱크혼 알고리즘의 부정확성은 전체 최적화 절차의 수렴에 어떤 영향을 미치는가?
• RQ4 정규화 파라미터 ε가 0에 수렴할 때, 정규화된 EGW 문제의 정류점이 비정규화된 GW 문제의 정류점으로 수렴하는가?
• RQ5 EGW의 변분 재구성은 효율적이고 안정적이며 전역 수렴성을 갖춘 최적화 알고리즘을 도출하는 데 사용될 수 있는가?

주요 결과

• 정규화 파라미터에 대한 정밀한 정량적 조건을 만족할 경우, 목적함수가 볼록일 때 제안된 알고리즘이 전역 최소화점으로 O(1/k²)의 비점근적 수렴 속도를 달성한다.
• 비볼록 영역에서는 알고리즘이 정류점으로 O(1/k)의 속도로 수렴하며, 싱크혼 반복의 부정확성에 명시적인 의존도를 갖는다.
• 저자들은 정규화된 문제의 최소화점 수열의 임의의 클러스터 점이 ε → 0일 때 비정규화된 GW 문제의 최소화점으로 수렴함을 증명한다.
• 변분 문제의 안정성 분석을 통해, 목적함수의 해 주변에서 부드럽고 볼록함을 보장함으로써 가속 경사도 방법의 적용이 가능하다.
• 알고리즘의 계산 복잡도는 이차형 EGW의 최고 성능인 O(N²)을 유지하지만, 이전 방법들에서 부족했던 공식적인 수렴 보장을 갖춘다.
• 싱크혼의 고정점 반복에 의해 유도되는 부정확성은 유한하며 수렴을 방해하지 않으며, 오차 전파가 명시적으로 특성화되어 있음을 입증한다.