[논문 리뷰] Tree-Wasserstein Barycenter for Large-Scale Multilevel Clustering and Scalable Bayes

Tam Le, Viet Huynh외 3명|arXiv (Cornell University)|2019. 10. 10.

Anomaly Detection Techniques and Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 나무 구조를 가진 지름길 거리 척도를 활용하여 대규모 다수준 군집화와 확장 가능한 베이지안 추론를 위한 워싱어스타인 바리센터를 효율적으로 계산하는 새로운 접근법인 트리-워싱어스타인 바리센터를 제안한다. 나무 거리 척도의 구조적 특성을 활용함으로써, $ε$-정규화 최적화와 나무 기반 투영을 통해 빠르고 메모리 효율적인 계산이 가능해지며, 기존의 싱크호른 기반 기준선 대비 최대 50% 빠른 런타임을 달성하면서도 수천 개의 지지점이 있는 고차원 데이터에서 높은 정확도를 유지한다.

ABSTRACT

We study in this paper a variant of Wasserstein barycenter problem, which we refer to as tree-Wasserstein barycenter, by leveraging a specific class of ground metrics, namely tree metrics, for Wasserstein distance. Drawing on the tree structure, we propose an efficient algorithmic approach to solve the tree-Wasserstein barycenter and its variants. The proposed approach is not only fast for computation but also efficient for memory usage. Exploiting the tree-Wasserstein barycenter and its variants, we scale up multi-level clustering and scalable Bayes, especially for large-scale applications where the number of supports in probability measures is large. Empirically, we test our proposed approach against other baselines on large-scale synthetic and real datasets.

연구 동기 및 목표

• 고차원이고 지지점이 많은 설정에서 기존 워싱어스타인 바리센터 계산의 확장성 한계를 해결하기 위해.
• 나무 거리 척도를 지름길 거리로 사용하여 워싱어스타인 바리센터를 계산하는 효율적인 알고리즘 프레임워크를 개발하기 위해.
• 많은 확률 측도 지지점이 있는 대규모 데이터셋을 대상으로 다수준 군집화와 확장 가능한 베이지안 추론를 확장하기 위해.
• 싱크호른 및 슬라이스드 워싱어스타인 바리센터와 같은 기존 기준선 대비 뛰어난 계산 효율성과 정확도를 입증하기 위해.

제안 방법

• 최적 운반 문제에서 나무 거리 척도를 지름길 거리로 사용함으로써, 닫힌 형태의 해와 나무 기반 투영을 통한 빠른 계산이 가능해진다.
• 트리-워싱어스타인 바리센터 문제에 엔트로피 정규화를 적용하여, 나무에 매핑된 확률 측도에 대해 싱크호른 유사 알고리즘을 사용한 효율적인 최적화가 가능해진다.
• 가장 먼 점 샘플링을 활용한 군집 기반 나무 거리 체계 구축을 통해 데이터 기하학을 유지하는 계층적 나무 구조를 구축한다.
• 나무에서 질량 중심 성질을 활용하여 바리센터의 지지점 수에 대한 제약 조건을 완화함으로써, 유한 지지점 변형을 가능하게 한다.
• 바리센터에서의 가중치 샘플을 사용하여 확장 가능한 베이지안 추론에서 사후 분포를 근사한다.
• 사후 샘플링을 위해 노-유턴 샘플링(NUTS)을 사용하고, 다양한 나무 구성에 따른 바리센터 기반 근사치를 비교한다.

실험 결과

연구 질문

• RQ1 표준 운반 이론 또는 슬라이스드 운반 이론 대비 나무 구조를 가진 지름길 거리 척도가 워싱어스타인 바리센터의 계산 속도와 메모리 효율성 향상에 기여할 수 있는가?
• RQ2 고차원 데이터와 많은 지지점이 있는 대규모 다수준 군집화에서 트리-워싱어스타인 바리센터는 어떻게 성능을 발휘하는가?
• RQ3 대규모 사후 샘플이 있는 베이지안 추론에서 트리-워싱어스타인 바리센터는 확장성과 정확도 향상에 얼마나 기여하는가?
• RQ4 지름길 체계 구축 시 트리의 수와 깊이가 근사 정확도에 얼마나 민감한가?

주요 결과

• 30개의 샘플만으로 사후 분포를 추정할 때 트리-워싱어스타인 바리센터는 싱크호른 기반 기준선 대비 런타임이 절반 이하로 감소한다.
• 100개의 트리로 구성된 경우, 무작위 효과 공분산 행렬 추정에서 절대 오차가 0.67425로 감소하여 싱크호른 기준선(0.751236)과 슬라이스드 워싱어스타인(0.678854, k=30)을 모두 능가한다.
• 트리 수를 늘일수록 추정 신뢰도가 향상되어 공분산 행렬 추정의 평균 오차와 표준편차가 감소한다.
• 지지점 수가 최대 3,000까지 증가하더라도 높은 정확도를 유지하며, 싱크호른 및 슬라이스드 기준선는 성능 저하 또는 정체 현상을 보인다.
• 제안된 알고리즘은 고차원 데이터에 대해 강건하며, 일차원 투영 방법인 슬라이스드 워싱어스타인보다 원본 지지점 분포의 구조적 성질을 더 잘 유지한다.
• 트리-워싱어스타인 바리센터는 바리센터의 지지점 수를 사전에 명시할 필요 없이 다수준 군집화와 확장 가능한 베이지안 추론를 가능하게 한다.