[논문 리뷰] The Unbalanced Gromov Wasserstein Distance: Conic Formulation and Relaxation

Thibault Séjourné, François‐Xavier Vialard외 1명|arXiv (Cornell University)|2020. 09. 09.

Topological and Geometric Data Analysis참고 문헌 47인용 수 34

한 줄 요약

비대칭 Gromov–Wasserstein 형태 두 가지(UGW 다이버전스와 CGW 거리)를 소개하여 임의의 양의 측정치를 갖는 측도-공간(mm-space)을 비교하고, 이론적 보장을 갖춘 GPU 친화적 알고리즘을 제공한다.

ABSTRACT

Comparing metric measure spaces (i.e. a metric space endowed with aprobability distribution) is at the heart of many machine learning problems. The most popular distance between such metric measure spaces is theGromov-Wasserstein (GW) distance, which is the solution of a quadratic assignment problem. The GW distance is however limited to the comparison of metric measure spaces endowed with a probability distribution. To alleviate this issue, we introduce two Unbalanced Gromov-Wasserstein formulations: a distance and a more tractable upper-bounding relaxation.They both allow the comparison of metric spaces equipped with arbitrary positive measures up to isometries. The first formulation is a positive and definite divergence based on a relaxation of the mass conservation constraint using a novel type of quadratically-homogeneous divergence. This divergence works hand in hand with the entropic regularization approach which is popular to solve large scale optimal transport problems. We show that the underlying non-convex optimization problem can be efficiently tackled using a highly parallelizable and GPU-friendly iterative scheme. The second formulation is a distance between mm-spaces up to isometries based on a conic lifting. Lastly, we provide numerical experiments onsynthetic examples and domain adaptation data with a Positive-Unlabeled learning task to highlight the salient features of the unbalanced divergence and its potential applications in ML.

연구 동기 및 목표

• 확률 분포를 강제하지 않고도 질량 변화와 이상치가 있는 mm-space를 비교할 필요성을 동기화한다.
• 등가성까지의 임의의 양의 측정치까지 확장하는 두 가지 비대칭 형식을 정의한다.
• UGW와 CGW 간의 결정성 및 경계 관계를 포함한 이론적 특성(정의 가능성)을 확립한다.
• 대규모 문제를 위한 엔트로피 정규화와 Sinkhorn 반복을 활용한 효율적인 수치적 체계를 개발한다.
• 합성 데이터 및 도메인 적응 실험(positive-unlabeled 학습 과제 포함)을 통해 접근법을 입증한다.

제안 방법

• UGW를 운송 항과 주변 분포의 제곱 ϕ-발산 패널티의 합의 최솟값으로 정의하여 질량 보존을 완화하는 2-동일성(2-homogeneous) 다이버전스를 얻는다.
• 비대칭 설정에서 주변 분포를 비교하기 위해 ϕ-직렬화된 제곱 텐서화 ϕ-발산 Dϕ⊗를 도입한다.
• UGW를 운송 유사 항 Lc와 질량 창조/소멸 항으로 분해하는 재구성(정리 1 가능성)을 제시하여 분석을 가능하게 한다.
• Cone으로의 승화와 𝔠[ℝ+]의 cone 거리 Д를 사용하는 Conic Gromov-Wasserstein(CGW) 거리를 제시하여 등가성까지의 거리를 얻는다(정리 1).
• CGW가 UGW보다 상한을 가진다(CGW ≤ UGW)고, Д가 cone 상의 거리인 경우 CGW가 거리로서 성립한다.
• 일반적인 조건하에서 UGW와 CGW의 극값 존재를 보인다(정리 1, 3).
• UGWε의 생성을 위한 이중-볼록성 및 엔트로피 정규화된 완화와 대안적인 Sinkhorn형 최적화를 개발한다(알고리즘 1).
• CGW에 대응하는 완화도 제시하고 타이트성 결과를 논의한다(정리 3).

실험 결과

연구 질문

• RQ1 임의의 양의 측정치를 갖는 mm-space를 거리와 등가성까지 의미 있게 비교할 수 있는가(질량 보존을 강제하지 않고)?
• RQ2 엔트로피 정규화를 활용한 계산적으로 다룰 수 있는 비대칭 GW의 준해석적 유사체를 어떻게 정의할 수 있는가?
• RQ3 UGW 다이버전스(UGW)와 cone GW 거리(CGW) 간 관계는 무엇이며 UGW가 CGW를 상한하는가?
• RQ4 2중 볼록성, 엔트로피 정규화 완화가 GW 및 CGW에 대해 언제 타이트한가?
• RQ5 이 비대칭 형식들이 합성 데이터 및 domain adaptation 같은 긍정-비포함(positive-unlabeled) 학습 과제에서 실용적으로 잘 작동하는가?

주요 결과

• UGW는 질량 보존을 완화하는 2-동일성 다이버전스를 제공하여 임의의 양의 측정치를 갖는 mm-space의 비교를 가능하게 한다.
• CGW는 등가성까지의 mm-space 간 진정한 거리를 정의하며 CGW는 CGW ≤ UGW로 UGW의 상한을 갖는다.
• 실용적 조건(콤팩트한 공간, 적절한 φ-발산, λ)을 만족하는 경우 UGW 및 CGW의 극값 존재를 확립한다.
• GPU 친화적 최적화 체계와 수렴 특성을 갖는 이중 볼록성의 엔트로피 정규화 완화(UGWε)가 ML 과제의 역전파에 적합한 기반을 제공한다.
• 특정 커널(예: 제곱 거리)에서 이중 볼록한 완화가 타이트하여 원래 문제의 최적해를 복구한다.
• 질량 불균형에 대한 강건성 및 도메인 적응 및 긍정-미포함 학습 과제와의 정합성을 보이며, 제공 설정에서 관련 경쟁자들보다 뛰어나거나 비슷한 성능을 보인다.