[논문 리뷰] Dimensionality Reduction for Wasserstein Barycenter

Zachary Izzo, Sandeep Silwal외 1명|arXiv (Cornell University)|2021. 10. 18.

Topological and Geometric Data Analysis참고 문헌 14인용 수 5

한 줄 요약

이 논문은 원본 차원 $d$와 분포 수 $k$에 관계없이 최적의 차원 수축 경계를 달성할 수 있도록, Wasserstein barycenter 문제를 위한 차원 수축 기법을 제안한다. 이 기법은 높은 차원의 확률 분포를 지원 크기 $n$에 따라 $O(\log n)$ 차원의 낮은 차원 공간으로 투영함으로써, barycenter 비용을 임의의 오차 범위 내에서 유지한다. 이 방법은 무작위 투영과 Kirszbraun 정리를 활용하여 기존의 차원 수축 기법보다 더 빠른 계산을 가능하게 하면서도 해의 품질을 손상시키지 않는다.

ABSTRACT

The Wasserstein barycenter is a geometric construct which captures the notion of centrality among probability distributions, and which has found many applications in machine learning. However, most algorithms for finding even an approximate barycenter suffer an exponential dependence on the dimension $d$ of the underlying space of the distributions. In order to cope with this "curse of dimensionality," we study dimensionality reduction techniques for the Wasserstein barycenter problem. When the barycenter is restricted to support of size $n$, we show that randomized dimensionality reduction can be used to map the problem to a space of dimension $O(\log n)$ independent of both $d$ and $k$, and that \emph{any} solution found in the reduced dimension will have its cost preserved up to arbitrary small error in the original space. We provide matching upper and lower bounds on the size of the reduced dimension, showing that our methods are optimal up to constant factors. We also provide a coreset construction for the Wasserstein barycenter problem that significantly decreases the number of input distributions. The coresets can be used in conjunction with random projections and thus further improve computation time. Lastly, our experimental results validate the speedup provided by dimensionality reduction while maintaining solution quality.

연구 동기 및 목표

• Wasserstein barycenter 계산에서 차원의 극복 문제를 해결하기 위해, 이는 차원 $d$에 대해 지수적 의존성을 가지며 발생한다.
• 일반적인 $L_p$ 목표 함수 하에서 barycenter 비용을 유지하는 차원 수축 방법을 개발하기 위해.
• 원래 차원 $d$와 분포 수 $k$에 관계없이 독립적인 차원 수축 경계를 달성하기 위해.
• 감소된 차원 크기의 상한과 하한을 정확히 일치시키는 이론적 보장을 제공하기 위해.
• 더 빠른 계산을 위해 coreset 구성과 차원 수축을 통합하기 위해.

제안 방법

• 입력 분포의 $d$차원 지원 점들을 무작위 투영 행렬을 통해 $O(\log n)$ 차원으로 매핑하기 위해 랜덤 차원 수축을 적용한다.
• Kirszbraun 정리를 사용하여, 투영 후 $L_p$ 목표 함수 하에서 Wasserstein 거리 비용이 유지됨을 보장한다.
• 지원 크기가 $n$인 임의의 barycenter는 $O(\log n)$ 차원에서 비용이 임의의 오차 범위 내에서 유지되도록 계산될 수 있음을 증명한다.
• $O(n \log n)$ 크기의 coreset를 구성하여 입력 분포의 수를 줄이되 barycenter 품질을 유지한다.
• 랜덤 투영과 coreset 구성의 조합을 통해 기존 barycenter 알고리즘의 계산 속도를 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 차원 수축을 사용하여 Wasserstein barycenter 계산의 계산 비용을 줄일 수 있을까? 이때 해의 품질은 유지되어야 한다.
• RQ2 원래 차원 $d$와 분포 수 $k$에 관계없이, $L_p$-Wasserstein barycenter 비용을 유지하기 위해 필요한 최소 차원은 얼마인가?
• RQ3 Wasserstein barycenter 계산의 특수한 경우에 대해 고전적인 Johnson-Lindenstrauss 레미마를 향상시킬 수 있는가?
• RQ4 코어셋과 차원 수축을 어떻게 조합하여 barycenter 계산을 더욱 가속화할 수 있는가?
• RQ5 제안된 차원 수축 경계가 상수 요소를 제외한 측면에서 최적인가?

주요 결과

• 이 논문은 $O(\log n)$ 차원이 임의의 지원 크기 $n$을 가진 barycenter의 Wasserstein barycenter 비용을 유지하는 데 충분함을 입증한다. 이는 원래 차원 $d$와 분포 수 $k$에 관계없이 성립한다.
• 차원 수축 경계는 상수 요소를 제외한 측면에서 최적임이 입증되었으며, 이는 일치하는 하한 경계가 제시되었기 때문이다.
• Kirszbraun 정리를 통해, $p \neq 2$인 경우에도 무작위 투영 하에서 $L_p$-Wasserstein barycenter 목표 함수의 비용이 유지됨을 보였다.
• $O(n \log n)$ 크기의 coreset를 구성하여 입력 분포의 수를 줄였지만 barycenter 품질을 유지하였다.
• 실험 결과는 제안된 방법이 해의 품질에 거의 영향을 주지 않으면서도 빠른 속도 향상을 달성함을 확인하였다.