[논문 리뷰] Fast and Robust Comparison of Probability Measures in Heterogeneous Spaces

Ryoma Sato, Marco Cuturi외 2명|arXiv (Cornell University)|2020. 02. 05.

Gaussian Processes and Bayesian Inference참고 문헌 48인용 수 10

한 줄 요약

이 논문은 이질적 공간 내 확률 측도를 신속하고 강인하게 비교하기 위해, 각 점을 그 짝별 거리의 1차원 분포(앵커 특징)로 표현함으로써 앵커 에너지(Anchor Energy, AE)와 앵커 워셔스타인(Anchor Wasserstein, AW) 거리를 제안한다. 이는 AE를 O(n² log n) 시간에 정확하게 계산하기 위해 스위프 라인 알고리즘을 도입하여, 기존의 Gromov-Wasserstein 근사와 비교해 뛰어난 속도와 안정성을 확보한다. 랭크 기반의 변형은 노이즈에 대한 강인성을 향상시킨다.

ABSTRACT

Comparing two probability measures supported on heterogeneous spaces is an increasingly important problem in machine learning. Such problems arise when comparing for instance two populations of biological cells, each described with its own set of features, or when looking at families of word embeddings trained across different corpora/languages. For such settings, the Gromov Wasserstein (GW) distance is often presented as the gold standard. GW is intuitive, as it quantifies whether one measure can be isomorphically mapped to the other. However, its exact computation is intractable, and most algorithms that claim to approximate it remain expensive. Building on \cite{memoli-2011}, who proposed to represent each point in each distribution as the 1D distribution of its distances to all other points, we introduce in this paper the Anchor Energy (AE) and Anchor Wasserstein (AW) distances, which are respectively the energy and Wasserstein distances instantiated on such representations. Our main contribution is to propose a sweep line algorithm to compute AE \emph{exactly} in log-quadratic time, where a naive implementation would be cubic. This is quasi-linear w.r.t. the description of the problem itself. Our second contribution is the proposal of robust variants of AE and AW that uses rank statistics rather than the original distances. We show that AE and AW perform well in various experimental settings at a fraction of the computational cost of popular GW approximations. Code is available at \url{https://github.com/joisino/anchor-energy}.

연구 동기 및 목표

• 생물학적, 언어학적, 그래프 데이터에서 흔히 발생하는 서로 다른 이질적 거리 공간에 정의된 확률 측도를 비교하는 문제에 대응한다.
• 이론적으로 타당하지만 계산 비용이 큰 Gromov-Wasserstein(GW) 거리의 계산 비용 문제를 해결한다.
• 계산 비용을 줄이면서도 해석 가능성과 강인성을 유지하는 GW의 효율적인 대체 방법을 개발한다.
• 그래프, 워드 임베딩, 싱글셀 옴믹스 데이터와 같은 복잡한 데이터 유형의 스케일러블하고 안정적인 비교를 가능하게 한다.
• 실제 데이터에서 노이즈와 이방값에 대한 강인성을 향상시키기 위해 랭크 기반 변형을 도입한다.

제안 방법

• 측정 거리 공간(MMS) 내의 각 점을 다른 모든 점까지의 거리들의 1차원 경험 분포로 표현함으로써 '앵커 특징'을 정의한다.
• P(R)에서 음의 정의된 커널로 사용된 1-워셔스타인 거리를 활용해 앵커 분포 간의 에너지 거리 (AE)를 계산한다.
• 기본적인 O(n³) 복잡도를 감소시켜 AE를 O(n² log n) 시간에 정확하게 계산할 수 있는 스위프 라인 알고리즘을 제안한다.
• 더 나은 미분 가능성과 안정성을 확보하기 위해 앵커 분포 간의 엔트로피 정규화 워셔스타인 거리인 앵커 워셔스타인 (AW)을 도입한다.
• 평균 운반 계획을 활용한 AEP(Anchor Energy Procrustean) 할당을 개발하여 그래프 내 노드 매칭에 대한 강인한 방법을 제공한다.
• 앵커 특징 내 원시 거리를 대체하기 위해 랭크 통계를 적용하여 노이즈 및 이방값에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 Gromov-Wasserstein의 계산 부담 없이도 이질적 공간 내 확률 측도의 신속하고 안정적인 비교가 가능한가?
• RQ2 앵커 특징에 기반한 거리 측도를 설계하여 정확하고 효율적인 계산을 가능하게 하면서도 의미 있는 기하학적 구조를 유지할 수 있는가?
• RQ3 제안된 스위프 라인 알고리즘이 앵커 특징에 대한 에너지 거리 계산의 시간 복잡도를 어떻게 향상시키는가?
• RQ4 AE 및 AW의 랭크 기반 변형이 실세계 데이터에서 노이즈에 대해 얼마나 강인한가?
• RQ5 그래프 매칭 및 생성 모델 평가와 같은 작업에서 AE 및 AW가 GW 기반 방법보다 우월하거나 유사한 성능을 보일 수 있는가?

주요 결과

• 제안된 스위프 라인 알고리즘은 입력 크기(n² 비용 행렬)에 대해 준선형 복잡도를 달성하며 앵커 에너지 (AE) 거리를 O(n² log n) 시간에 정확하게 계산한다.
• AE 및 AW 거리는 최신의 GW 근사 방법보다 뚜렷이 빠르며, 기존 방법 대비 계산 비용을 극적으로 감소시킨다.
• AE 및 AW의 랭크 기반 변형은 노이즈에 대해 향상된 강인성을 보이며, 합성 BA 그래프에서의 노드 할당 작업에서 GW 및 AW를 초월한다.
• 그래프 매칭 작업에서 AEP(Anchor Energy Procrustean)는 GW, AW 및 중심성 기반 방법보다 매칭된 노드 순서 간 상관관계가 더 높아, 더 나은 역할 보존 능력을 보였다.
• 그래프 생성 모델 평가에서 제안된 방법은 실데이터와 통계적으로 구분되지 않는 것으로 판단한 GraphRNN을 정확히 식별했으며(p > 0.05), ER 및 BA 기반 모델은 기각했다.
• 이 방법은 s개의 샘플에 대해 O(sn log(sn)) 시간에 정확한 에너지 거리 계산을 가능하게 하여 대규모 모델 평가를 효율적이고 실현 가능하게 한다.