[논문 리뷰] Approximating the Quadratic Transportation Metric in Near-Linear Time

Jason M. Altschuler, Francis Bach외 2명|arXiv (Cornell University)|2018. 10. 23.

Data Management and Algorithms참고 문헌 40인용 수 13

한 줄 요약

이 논문은 엔트로피 정규화, 근사 싱크혼 스케일링, 그리고 가우시안 커널 행렬의 저랭크 근사와 같은 기법을 활용하여, 이산 확률 분포 간의 2-와서르스타인 거리(이차 운반 거리 측도)를 near-linear time인 O(n log n)에 근사하는 결정론적 알고리즘을 제시한다. 이 방법은 차원과 정밀도에 대한 명시적인 의존성을 가지며, 제곱된 2-와서르스타인 거리에 대해 덧셈적 ε-근사치를 달성한다.

ABSTRACT

Computing the quadratic transportation metric (also called the $2$-Wasserstein distance or root mean square distance) between two point clouds, or, more generally, two discrete distributions, is a fundamental problem in machine learning, statistics, computer graphics, and theoretical computer science. A long line of work has culminated in a sophisticated geometric algorithm due to Agarwal and Sharathkumar in 2014, which runs in time $ ilde{O}(n^{3/2})$, where $n$ is the number of points. However, obtaining faster algorithms has proven difficult since the $2$-Wasserstein distance is known to have poor sketching and embedding properties, which limits the effectiveness of geometric approaches. In this paper, we give an extremely simple deterministic algorithm with $ ilde{O}(n)$ runtime by using a completely different approach based on entropic regularization, approximate Sinkhorn scaling, and low-rank approximations of Gaussian kernel matrices. We give explicit dependence of our algorithm on the dimension and precision of the approximation.

연구 동기 및 목표

• 이차 운반 거리 측도의 near-linear time 근사화가 가능할지에 대한 오랜 동안 미해결된 열린 문제를 해결하고자 한다. 이는 스케칭과 임bedding에 대한 알려진 제약 조건에도 불구하고 가능하다.
• 기하적 접근 방식을 방해하는 이차 비용 함수의 열악한 스케칭 및 임베딩 성질을 극복하고자 한다.
• 차원 d와 근사 오차 ε에 대한 명시적인 런타임 의존성을 가지는 결정론적이고 효율적인 알고리즘을 제공하고자 한다.
• 최적의 커플링에 저랭크 구조가 존재함을 보여주어, 기존의 기하적 방법을 피하고 near-linear time 계산이 가능하다는 것을 입증하고자 한다.

제안 방법

• 알고리즘은 최적 운반 문제를 부드럽고 정규화된 최적화 문제로 변환하기 위해 엔트로피 정규화를 사용한다.
• 효율적인 정규화된 커플링 행렬 계산을 위해 근사 싱크혼 스케일링을 적용한다.
• 계산 복잡도를 감소시키기 위해 가우시안 커널 행렬의 저랭크 근사를 활용한다.
• 반복적 투영을 통해 여유 조건을 충족시키기 위해 대각 스케일링 행렬 D₁과 D₂를 유지하고 갱신한다.
• 저장 및 계산 비용을 줄이기 위해 행렬을 인자 분해 형태로 암묵적으로 표현한다.
• 엔트로피 및 비용 행렬의 편향 분석을 통해 부적합도 갭을 제한함으로써 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 스케칭 및 임베딩 성질이 열악한 상황에서도 2-와서르스타인 거리는 near-linear time로 근사 가능할 수 있는가?
• RQ2 엔트로피 정규화와 저랭크 근사를 활용하여 이차 운반 거리 측도의 near-linear time 계산이 가능할 수 있는가?
• RQ3 런타임이 차원 d와 근사 오차 ε에 대해 명시적으로 어떻게 의존하는가?
• RQ4 정규화와 저랭크 구조를 사용함으로써, 스케칭 및 임베딩에 의존하는 기하 알고리즘을 피할 수 있는가?

주요 결과

• 알고리즘은 저랭크 근사의 랭크 r에 대해 O(nr log n) 시간 내에 제곱된 2-와서르스타인 거리에 대해 덧셈적 ε-근사치를 달성한다.
• 런타임은 O(nr(1 + log n / (εd)) log n / ε²)이며, r은 (e + 900 log n / (εd))ᵈ로 유계이므로, 차원과 정밀도에 대한 명시적인 의존성이 드러난다.
• 이 방법은 결정론적 알고리즘을 제공하며, 기하적 접근 방식에서 이전에 알려진 최선의 Õ(n³ᐟ²)보다 향상된 Õ(n) 런타임을 달성한다.
• 부적합도 갭은 오차를 네 가지 성분으로 분해함으로써 제어되며, 각 성분은 엔트로피 한계, 편향 분석, 여유 조건의 이탈을 통해 제어된다.
• 이 접근법은 스케칭 및 임베딩의 한계를 피하기 위해 정규화와 저랭크 구조를 활용함으로써 성공적으로 이를 우회한다.