[논문 리뷰] Multilevel Clustering via Wasserstein Means

Nhat Ho, XuanLong Nguyen외 4명|arXiv (Cornell University)|2017. 06. 13.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 42

한 줄 요약

이 논문은 계층적으로 구조화된 데이터에서 그룹 내 국지적 클러스터와 그룹 간 글로벌 클러스터를 동시에 발견하기 위해 워셔스타인 거리(Wasserstein distances)를 사용하는 최적화 기반의 다중 수준 클러스터링 프레임워크를 제안한다. 문제를 이산 확률 측도 위에서의 동시 최적화로 공식화하고 워셔스타인 바리센터 계산과의 연결 고리를 활용함으로써, 빠르고 일관되며 확장 가능한 클러스터링을 달성하였으며, 합성 데이터 및 실세계 데이터(이미지 및 스마트폰 센서 데이터 포함)에서 뛰어난 성능을 입증하였다.

ABSTRACT

We propose a novel approach to the problem of multilevel clustering, which aims to simultaneously partition data in each group and discover grouping patterns among groups in a potentially large hierarchically structured corpus of data. Our method involves a joint optimization formulation over several spaces of discrete probability measures, which are endowed with Wasserstein distance metrics. We propose a number of variants of this problem, which admit fast optimization algorithms, by exploiting the connection to the problem of finding Wasserstein barycenters. Consistency properties are established for the estimates of both local and global clusters. Finally, experiment results with both synthetic and real data are presented to demonstrate the flexibility and scalability of the proposed approach.

연구 동기 및 목표

• 계층적으로 구조화된 데이터에서 그룹 내 국지적 클러스터와 그룹 간 글로벌 클러스터를 동시에 발견하는 데 도전하는 것.
• 워셔스타인 거리(metrics)를 사용하여 다중 수준에서 클러스터링을 함께 모델링하는 원칙적인 최적화 프레임워크를 개발하는 것.
• 약한 분포 가정 하에 추정된 국지적 및 글로벌 클러스터의 통계적 일관성을 확보하는 것.
• 이미지 및 센서 데이터와 같은 대규모 고차원 데이터셋에 대해 확장 가능하고 유연한 클러스터링을 가능하게 하는 것.
• 기존의 계층적 클러스터링 모델(예: 내장된 딜리클라우스 프로세스(Nested Dirichlet Process))의 비베이지안 대안을 제공하는 것.

제안 방법

• 이차 워셔스타인 거리(Second-order Wasserstein distances)를 사용하여 클러스터링 품질을 측정함으로써, 이산 확률 측도 공간 위에서의 동시 최적화 문제로 다중 수준 클러스터링을 공식화한다.
• 다중 수준 클러스터링과 워셔스타인 바리센터 계산 간 수학적 연결 고리를 활용하여 효율적인 최적화 알고리즘을 설계한다.
• 국지적 클러스터와 글로벌 클러스터 간 강도의 상호 보완을 유도하는 제약 조건을 포함한 목적 함수의 변형을 도입한다.
• 바리센터 솔버에서 유도된 빠른 반복 알고리즘을 활용하여 대규모 데이터셋으로의 확장성을 확보한다.
• 최적 운반 이론(Optimal transport theory)을 활용하여 계층의 다양한 수준에서의 확률 측도 간 자연스러운 거리 측도를 정의한다.
• 클러스터링 이전에 고차원 데이터를 사전 처리하기 위해 차원 축소(PCA 등)와 특징 추출(GIST 등)을 적용한다.

실험 결과

연구 질문

• RQ1 통합 최적화 프레임워크가 다중 수준 데이터에서 국지적 및 글로벌 클러스터링 구조를 효과적으로 발견할 수 있는가?
• RQ2 워셔스타인 거리를 어떻게 활용하여 일관성 있고 확장 가능한 다중 수준 클러스터링 목적 함수를 정의할 수 있는가?
• RQ3 최소한의 분포 가정 하에 제안된 국지적 및 글로벌 클러스터 추정기의 통계적 일관성은 어떠한가?
• RQ4 워셔스타인 바리센터 문제와의 연결 고리는 다중 수준 클러스터링을 위한 빠르고 확장 가능한 알고리즘을 가능하게 하는가?
• RQ5 실세계 데이터셋에서 K-means, TSK-means, MC2-SVI와 같은 기존 베이스라인에 비해 성능 및 효율성 면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• MWM 및 MWMS 알고리즘은 LabelMe 데이터셋에서 가장 높은 클러스터링 성능을 기록하여, NMI가 0.391이고 ARI가 0.284였으며, K-means 및 MC2-SVI를 능가했다.
• StudentLife 데이터셋에서는 약 한 시간 내에 다중 수준 클러스터를 성공적으로 발견하였으며, 다양한 장소에서 공통으로 나타나는 학생 활동을 규명하였다.
• MWMS 알고리즘은 시각적으로 일관성 있는 이미지 클러스터를 생성하였으며, 왼쪽에 태그 클라우드, 오른쪽에 대표 이미지를 배치하여 의미론적 레이블과의 일치를 보였다.
• 제안된 방법은 49台의 스마트폰에서 유래한 460만 개의 데이터 포인트를 포함한 고차원 대규모 데이터에 대해 확장 가능성을 입증하였다.
• 기본 데이터 분포에 대한 약한 조건 하에 국지적 및 글로벌 클러스터 추정에 대한 일관성 정리가 수립되었다.
• 내장된 딜리클라우스 프로세스에 비해 유사한 해석 가능성과 더불어 향상된 계산 효율성을 제공하는 빠른 비베이지안 대안을 제공한다.