[논문 리뷰] Fast Computation of Wasserstein Barycenters

Marco Cuturi, Randal Douc|arXiv (Cornell University)|2013. 10. 16.

Topological and Geometric Data Analysis참고 문헌 33인용 수 462

한 줄 요약

이 논문은 최적 운반 문제에 엔트로피 정규화를 도입하여, 행렬 스케일링을 통한 빠른 기울기 계산을 가능하게 함으로써, 경험적 확률 측도의 워셔스타인 바리센터를 계산하는 두 가지 효율적인 알고리즘을 제안한다. 주요 기여는 정확한 서브기울기 방법에 비해 수십만 배 빠른 속도 향상을 이룩한 확장 가능한 방법으로, 이미지 시각화 및 제약 조건이 있는 군집화 작업에서 검증되었다.

ABSTRACT

We present new algorithms to compute the mean of a set of empirical probability measures under the optimal transport metric. This mean, known as the Wasserstein barycenter, is the measure that minimizes the sum of its Wasserstein distances to each element in that set. We propose two original algorithms to compute Wasserstein barycenters that build upon the subgradient method. A direct implementation of these algorithms is, however, too costly because it would require the repeated resolution of large primal and dual optimal transport problems to compute subgradients. Extending the work of Cuturi (2013), we propose to smooth the Wasserstein distance used in the definition of Wasserstein barycenters with an entropic regularizer and recover in doing so a strictly convex objective whose gradients can be computed for a considerably cheaper computational cost using matrix scaling algorithms. We use these algorithms to visualize a large family of images and to solve a constrained clustering problem.

연구 동기 및 목표

• 큰 규모의 최적 운반 문제 반복 해소로 인해 정확한 서브기울기 방법을 사용한 워셔스타인 바리센터 계산이 계산적으로 불가능한 문제를 해결하기 위해.
• 엔트로피 스무딩을 통해 계산 비용을 줄임으로써 워셔스타인 바리센터의 실용적 사용을 가능하게 하기 위해.
• 제약 조건이 있는 군집화와 같은 응용 분야를 위해 고정 지원 및 균일 가중치 제약 조건 하에서 바리센터를 계산하는 효율적인 알고리즘 개발을 위해.
• 이미지 가족의 시각화 및 균형 잡힌 군집화 문제 해결에 있어 워셔스타인 바리센터의 유용성을 입증하기 위해.

제안 방법

• 워셔스타인 거리에 엔트로피 정규화를 도입하여, 비연속적이고 비볼록인 서브기울기 문제를 엄밀히 볼록적이며 미분 가능한 최적화 문제로 변환하기 위해.
• Sinkhorn-Knopp 알고리즘을 사용하여, 행렬 스케일링을 통한 매트릭스 스케일링을 통해 부드럽혀진 이중 최적 운반 문제의 기울기를 효율적으로 계산하기 위해.
• 고정 지원 바리센터와 자유 지원 바리센터를 위한 두 가지 서브기울기 기반 알고리즘을 제안하며, 모두 부드러운 이중 목표 함수를 활용하기 위해.
• 전체 원본-이중 최적 운반 문제를 풀이하는 것과 비교해, 단지 행렬-벡터 곱셈만을 사용하여 기울기를 계산함으로써 계산 비용을 크게 감소시키기 위해.
• 이 알고리즘을 이미지 가족과 인구 조사 데이터 군집화에 적용하며, 균형 잡힌 할당을 보장하기 위해 중심점 가중치에 제약 조건을 부여하기 위해.
• 부드러운 이중 공식화를 통해 대규모 데이터셋에서도 실질적으로 빠른 수렴을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 엔트로피 정규화를 사용하여 대규모 경험적 측도에 대한 워셔스타인 바리센터 계산을 실현 가능하게 할 수 있는가?
• RQ2 부드러운 이중 공식화는 서브기울기 기반 바리센터 최적화를 위한 효율적인 기울기 계산을 어떻게 가능하게 하는가?
• RQ3 균일 가중치를 갖는 제약 조건이 있는 워셔스타인 바리센터는 표준 k-means에 비해 군집의 균형을 개선할 수 있는가?
• RQ4 균일 가중치 제약 조건을 부과할 경우, 군집 정확도와 계산 비용 사이의 상충 관계는 어떠한가?
• RQ5 워셔스타인 바리센터는 기하학적 구조를 유지하면서도 복잡한 이미지 가족을 효과적으로 요약할 수 있는가?

주요 결과

• 정확한 최적 운반 솔버를 사용할 경우 약 1시간이 소요되는 반면, 제약 조건이 있는 바리센터를 57,647개의 공간 위치와 48개의 중심점에서 계산하는 데에는 12.5초가 소요되었다.
• 비제약 조건이 있는 k-means 알고리즘은 1.55초 내에 수렴하지만, 제약 조건이 있는 균일 가중치 바리센터 계산은 12.5초가 소요되어 다소 높은 오버헤드이지만 수용 가능한 범위였다.
• 균일 가중치를 갖는 워셔스타인 바리센터는 각 중심점이 총 질량의 동일한 비율을 차지하도록 하여 더 균형 잡힌 군집을 생성하는 반면, 표준 k-means는 일부 중심점에 질량이 집중되는 경향이 있었다.
• 중첩된 타원의 시각화 결과, 2-워셔스타인 바리센터는 구조적 특징을 유지하는 반면, 유클리드, RKHS, 제퍼리 중심 방법은 의미 있는 평균을 생성하지 못했다.
• 부드러운 이중 공식화를 통해 기울기 계산이 행렬 스케일링을 통해 가능해져, 각 서브기울기 평가의 비용이 큰 운반 문제를 푸는 것에서 단순한 행렬-벡터 연산으로 감소하였다.
• 이 방법은 워셔스타인 거리의 다중 조합을 포함한 변분 문제, 예를 들어 워셔스타인 전파 등으로도 효과적으로 일반화되었다.