[논문 리뷰] Convex Clustering via Optimal Mass Transport

Francesca Carli, Lipeng Ning외 1명|arXiv (Cornell University)|2013. 07. 20.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 7

한 줄 요약

이 논문은 표본 분포를 최적 운반 이론을 사용하여 희소 지지에서 근사하고, 희소 지지에 대한 개수 제약 조건을 도입함으로써 군집화를 위한 볼록 최적화 프레임워크를 제안한다. 이는 개수 제약 조건의 가장 날카운 볼록 하한 근사인 노름의 합의 풀이를 도입함으로써, 초기화 민감도 없이 안정적인 군집화를 가능하게 하며, 수치 실험에서 $∞ll_∞$ 기반 및 $∞ll_1$ 기반 대안들보다 우수한 성능을 보인다.

ABSTRACT

We consider approximating distributions within the framework of optimal mass transport and specialize to the problem of clustering data sets. Distances between distributions are measured in the Wasserstein metric. The main problem we consider is that of approximating sample distributions by ones with sparse support. This provides a new viewpoint to clustering. We propose different relaxations of a cardinality function which penalizes the size of the support set. We establish that a certain relaxation provides the tightest convex lower approximation to the cardinality penalty. We compare the performance of alternative relaxations on a numerical study on clustering.

연구 동기 및 목표

• 표본 분포를 최적 운반 이론을 사용하여 희소 지지 분포로 근사함으로써 군집화 문제를 해결하고자 한다.
• $∞ll_1$ 정규화가 확률 단체에서 항상 노름이 1이므로 희소성 강화가 불가능한 한계를 극복하고자 한다.
• 군집 대표 분포에서 희소성을 효과적으로 강화하는 개수 제약 조건의 볼록 풀이를 개발하고자 한다.
• 다양한 풀이—노름의 합, 정수 프로그래밍, $∞ll_\infty$-노름—을 합성 군집 작업에서 비교하고자 한다.
• 노름의 합 풀이가 원래 개수 제약 조건의 가장 날카운 볼록 하한 근사를 제공함을 입증하고자 한다.

제안 방법

• 표본 분포와 희소 지지 분포 사이의 거리 최소화를 목표로 하는 워샤어스타인 거리 기반 최적화 문제로 군집화를 공식화한다.
• 개수 제약 조건을 최적 운반 계획 행렬을 통해 표현함으로써, 운반 계획에 대한 노름의 합을 통한 볼록 풀이를 가능하게 한다.
• 운반 계획 행렬에 대한 노름의 합 페널티를 도입하여, 개수 함수를 날카운 볼록 하한으로 효과적으로 근사하는 볼록 풀이를 제안한다.
• 희소성 모델링을 위해 보조 이진 변수를 사용하는 정수 프로그래밍 풀이를 제안한다.
• 비교를 위해 이전 연구에서 유도된 $∞ll_\infty$-노름 풀이를 응용하지만, 이는 희소성 강화에 효과적이지 않다.
• 해결된 볼록 최적화 문제를 표준 수치 방법을 사용하여 해결하며, 군집 대표자는 해의 지지 집합에서 유도된다.

실험 결과

연구 질문

• RQ1 희소 지지에서 개수 제약 조건이 있는 최적 운반 이론이 군집화를 위한 원리적인 프레임워크가 될 수 있는가?
• RQ2 표준 $∞ll_1$ 정규화가 확률 단체에서 왜 희소성을 강화하지 못하는가? 이 문제는 어떻게 해결할 수 있는가?
• RQ3 어느 볼록 풀이가 개수 제약 조건의 가장 날카운 근사를 제공하며, 가장 뛰어난 군집 성능을 보이는가?
• RQ4 노름의 합, 정수 프로그래밍, $∞ll_\infty$ 풀이 간의 성능을 비교하여 진정한 군집 구조 복원 능력을 평가하면 어떻게 되는가?
• RQ5 이 프레임워크는 k-means에 비해 안정적이고 초기화 민감도가 없는 군집 결과를 도출할 수 있는가?

주요 결과

• 논문에서 증명된 바와 같이, 노름의 합 풀이는 개수 제약 조건의 가장 날카운 볼록 하한 근사를 제공한다.
• 3개 군집의 합성 데이터셋에서, 노름의 합과 정수 프로그래밍 풀이 모두 다양한 $λ$ 값에서 올바른 군집을 복원하지만, $∞ll_\infty$ 기반 방법은 3개 군집 분할을 달성하지 못한다.
• 10개 군집의 합성 데이터셋에서, 노름의 합과 정수 프로그래밍 풀이 모두 진정한 군집 구조를 성공적으로 복원하지만, $∞ll_\infty$ 기반 방법은 올바른 10개 군집 분할을 결코 달성하지 못한다.
• $∞ll_\infty$-노름 풀이는 희소성 강화에 덜 효과적이며, 중간 $λ$ 값에서도 여러 군집을 분리하지 못한다.
• 제안된 프레임워크는 볼록 최적화 공식화 덕분에 초기화 민감도 없이 안정적인 군집 결과를 도출한다. k-means와는 달리 이는 성능이 뛰어나다.
• 수치 결과는 노름의 합 풀이가 군집 정확도 및 구조 복원 능력에서 다른 풀이들보다 일관되게 뛰어나다는 것을 보여준다.