[논문 리뷰] Large Scale computation of Means and Clusters for Persistence Diagrams using Optimal Transport

Théo Lacombe, Marco Cuturi외 1명|arXiv (Cornell University)|2018. 05. 22.

Topological and Geometric Data Analysis인용 수 32

한 줄 요약

이 논문은 엔트로피 정규화를 적용한 최적 운반(OT)을 사용하여 영구 다이어그램의 평균과 클러스터링을 스케일러블한 프레임워크로 제안한다. 이는 싱크호른 알고리즘을 통해 GPU 가속을 가능하게 하여 효율적인 계산을 가능하게 한다. 접근 방식은 다이어그램 거리 측정을 OT 문제로 재구성함으로써 볼록성, 미분 가능성, 병렬 처리가 가능한 계산을 도출하며, 이는 이전 방법보다 빠른 속도와 수렴 성능을 보이며, 실제 데이터를 사용한 5,000개의 영구 다이어그램에 대한 첫 번째 대규모 $k$-평균 클러스터링을 가능하게 한다.

ABSTRACT

Persistence diagrams (PDs) are now routinely used to summarize the underlying topology of complex data. Despite several appealing properties, incorporating PDs in learning pipelines can be challenging because their natural geometry is not Hilbertian. Indeed, this was recently exemplified in a string of papers which show that the simple task of averaging a few PDs can be computationally prohibitive. We propose in this article a tractable framework to carry out standard tasks on PDs at scale, notably evaluating distances, estimating barycenters and performing clustering. This framework builds upon a reformulation of PD metrics as optimal transport (OT) problems. Doing so, we can exploit recent computational advances: the OT problem on a planar grid, when regularized with entropy, is convex can be solved in linear time using the Sinkhorn algorithm and convolutions. This results in scalable computations that can stream on GPUs. We demonstrate the efficiency of our approach by carrying out clustering with diagrams metrics on several thousands of PDs, a scale never seen before in the literature.

연구 동기 및 목표

• 표준 영구 다이어그램 연산(거리 계산, 바리센터 추정, 클러스터링 등)의 계산 비가용성 문제를 해결하기 위해.
• 영구 다이어그램의 비힐베르트 기하학적 성질이 $k$-평균 및 PCA와 같은 표준 머신러닝 도구의 적용을 어렵게 하는 문제를 해결하기 위해.
• 영구 다이어그램 거리 측정을 엔트로피 정규화를 적용한 최적 운반 문제로 재구성함으로써 대규모 토폴로지 데이터 분석을 가능하게 하기 위해.
• 지역 최소값을 피할 수 있는, 볼록성과 미분 가능성을 확보한 GPU 병렬 처리가 가능한 바리센터 계산 프레임워크를 제공하기 위해.
• 제안된 프레임워크를 통해 5,000개의 영구 다이어그램에 대한 실현 가능한 $k$-평균 클러스터링을 처음으로 구현하기 위해.

제안 방법

• 영구 다이어그램 거리 측정(보틀넥 및 $p$-워샤르슈타인)을 엔트로피 정규화를 적용한 평면 격자 위의 최적 운반 문제로 재구성한다.
• 영구 다이어그램을 $d \times d$ 격자 위의 히스토그램으로 이산화하여 행렬 기반 계산을 가능하게 한다.
• 엔트로피 정규화를 적용한 싱크호른 알고리즘을 사용하여 OT 문제를 선형 시간 내에 해결하고 GPU 가속을 가능하게 한다.
• 가상의 거리 근사치를 도입하여 추가 오차 한계를 확보함으로써 기울기 기반 최적화를 가능하게 한다.
• 유럽형 공식화를 통해 프리셰트 바리센터 문제를 볼록 최적화 과제로 재구성하고 운반 계획에 대한 경사 하강법을 적용한다.
• 근사 거리 및 바리센터 계산을 영구 다이어그램에 대한 스케일러블한 $k$-평균 클러스터링 파이프라인에 통합한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화를 적용한 최적 운반은 대규모 영구 다이어그램 간의 거리 계산에 효과적으로 적용될 수 있는가?
• RQ2 엔트로피 정규화를 적용한 최적 운반의 볼록성과 미분 가능성은 비볼록 조합적 방법보다 더 신뢰성 있게 영구 다이어그램의 바리센터를 계산하는 데 활용될 수 있는가?
• RQ3 제안된 프레임워크는 수천 개의 다이어그램을 포함한 데이터셋에서 영구 다이어그램의 대규모 클러스터링(특히 $k$-평균)을 가능하게 하는가?
• RQ4 제안된 방법의 계산 효율성과 수렴 행동은 B-Munkres와 같은 기존 알고리즘과 비교해 증가하는 다이어그램 크기에 따라 어떻게 달라지는가?
• RQ5 비볼록 접근 방식과 비교해 볼 때, 볼록 공식화가 바리센터 추정에서 국소 최소값을 얼마나 효과적으로 피할 수 있는가?

주요 결과

• 제안된 방법은 3D 모양 데이터베이스에서 유래한 5,000개의 영구 다이어그램 데이터셋에 대해 $k$-평균 클러스터링을 수행하였으며, 이는 이전 문헌에서 달성하지 못한 스케일이다.
• 5,000개의 다이어그램 데이터셋에 대해 P100 GPU에서 싱크호른 기반 알고리즘이 40~80분 내에 실행되어 실용적인 확장성을 입증하였다.
• B-Munkres 알고리즘보다 빠른 속도를 기록하며 지역 최소값을 피하고, 초기화에 관계없이 더 낮은 에너지 솔루션으로 수렴한다.
• 알고리즘은 다이어그램 크기에 대해 비선형적으로 스케일링되며, 히úng거 알고리즘의 $O(n^3)$ 복잡도보다 훨씬 느리게 실행 시간이 증가한다.
• 엔트로피 정규화는 다이어그램 거리에 대해 추가 오차 한계를 제공하여 근사 품질을 통제 가능하게 한다.
• 미분 가능하고 볼록적인 공식화 덕분에 이전의 비볼록 접근 방식과 달리 신뢰할 수 있는 기울기 기반 최적화를 통한 바리센터 계산이 가능하다.