[논문 리뷰] Wasserstein barycenters can be computed in polynomial time in fixed dimension

Jason M. Altschuler, Enric Boix-Adserà|arXiv (Cornell University)|2020. 06. 14.

Advanced Numerical Analysis Techniques인용 수 10

한 줄 요약

이 논문은 고정된 차원에서 워셔스타인 바리센터를 계산하는 최초의 다항시간 알고리즘을 제안하며, 기초 지점 후보의 지수적 복잡도를 피하기 위해 파wr도형과 계산 기하학 기반의 기하 분리 오라클을 사용함으로써 이를 해결한다. 이 방법은 정밀도에 대해 다중로그형 의존성을 가지며, 고정된 차원에서 기계 정밀도까지 정확한 계산을 실현하는 데 성공한다.

ABSTRACT

Computing Wasserstein barycenters is a fundamental geometric problem with widespread applications in machine learning, statistics, and computer graphics. However, it is unknown whether Wasserstein barycenters can be computed in polynomial time, either exactly or to high precision (i.e., with $\ extrm{polylog}(1/\\varepsilon)$ runtime dependence). This paper answers these questions in the affirmative for any fixed dimension. Our approach is to solve an exponential-size linear programming formulation by efficiently implementing the corresponding separation oracle using techniques from computational geometry.

연구 동기 및 목표

• 워셔스타인 바리센터가 고정된 차원에서 정확히나 고정밀도로 다항시간에 계산될 수 있는지 여부라는 열린 문제를 해결하기 위해.
• 바리센터의 후보 지점 수가 $ n^k $로 지수적으로 증가하는 문제를 기하학적 구조를 활용해 효율적으로 탐색 공간을 축소함으로써 해결하기 위해.
• 고정된 지지점 근사법을 피하는 자유지지 알고리즘을 개발하여, $ (R/\varepsilon)^d $개의 지점이 필요로 하는 기존 방법의 의사다항시간 런타임 문제를 해결하기 위해.
• 표준 가정 하에 $ \mathrm{poly}(n,k,\log(R/\varepsilon)) $ 런타임을 보장하는 증명 가능하게 효율적인 알고리즘을 제공함으로써, 히우리스틱이나 근사 기반의 지지점 선택에 의존하지 않고 고정밀도 해를 도출하기 위해.

제안 방법

• 멀티마르지널 최적 운반(MOT) 문제에 대한 지수 크기의 선형계획법(LP)으로 워셔스타인 바리센터 문제를 재구성한다.
• 이중 LP의 분리 오라클 문제로 문제를 축소하여, 주어진 해가 어떤 제약 조건을 위반하는지 확인한다.
• 기하학적 구조인 파워도형을 사용하여 분리 오라클을 효율적으로 구현한다. 파워도형은 입력 지점들로부터의 가중 거리 기반으로 공간을 분할한다.
• 계산 기하학 기법을 활용해 파워도형의 셀을 계산하고, 다항시간 내에 최적의 바리센터 지지점들을 식별한다.
• 제곱 유클리드 비용을 $ \ell_1 $, $ \ell_2 $, 또는 $ \ell_\infty $ 기준 거리로 대체함으로써 $ 1 $-워셔스타인 거리(지구 이동 거리)에 대해 적용 가능하게 하며, 파워도형 대신 $ c $-도형을 사용한다.
• 기본 기준 거리에 대한 표준 가정 하에 모든 기하 연산(평가, 중앙값 계산, 셀 열거)이 다항시간 내에 수행됨을 보장한다.

실험 결과

연구 질문

• RQ1 고정된 차원에서 워셔스타인 바리센터가 정확히나 고정밀도로 다항시간에 계산될 수 있는가?
• RQ2 정밀도 역수에 대해 의사다항시간 런타임을 유도하는 고정지지점 근사법을 피할 수 있는가?
• RQ3 지수적 후보 지지점 수($ n^k $)를 기하학적 구조를 활용해 효율적으로 줄일 수 있는가?
• RQ4 바리센터 LP 설정의 분리 오라클이 계산 기하학을 통해 다항시간으로 구현 가능한가?
• RQ5 이 방법은 동일한 효율성 보장을 갖는 $ 1 $-워셔스타인 기하학적 중앙값 문제로 확장될 수 있는가?

주요 결과

• 이 논문은 고정된 차원 $ d $ 에서 $ \mathrm{poly}(n,k,\log(R/\varepsilon)) $ 시간 내에 워셔스타인 바리센터를 계산할 수 있는 최초의 알고리즘을 제시하며, 정밀도 $ \varepsilon $ 에 대해 다중로그형 의존성을 달성한다.
• 알고리즘은 다항시간 내에 정확한 바리센터를 계산하여, 다중마르지널 최적 운반 및 기하학적 데이터 분석 분야에서 오랫동안 열려있던 문제를 해결한다.
• 기본 지지점 근사법이 $ (R/\varepsilon)^d $개의 지점이 필요로 하는 문제를 피하기 위해, 파워도형 기반의 기하 분리 오라클을 사용한다.
• 동일한 런타임 보장을 갖는 $ \ell_1 $, $ \ell_2 $, 또는 $ \ell_\infty $ 기준 거리 기반의 $ 1 $-워셔스타인 기하학적 중앙값 문제로도 확장 가능하다.
• 해의 지지점 크기는 최대 $ nk - k + 1 $ 이며, 사전에 고려할 수 있는 $ n^k $개의 후보 지점 수보다 훨씬 작다.
• 기존 방법들이 $ 1/\varepsilon $ 에 대해 다항식 의존성을 가지며 몇 자리 정밀도에 국한되는 데 반해, 이 알고리즘은 기계 정밀도까지의 고정밀도 계산이 가능하다.