[논문 리뷰] Clustering, factor discovery and optimal transport

Hongkang Yang, Esteban G. Tabak|arXiv (Cornell University)|2019. 02. 27.

Geochemistry and Geologic Mapping참고 문헌 38인용 수 5

한 줄 요약

이 논문은 비일관성 있는 클러스터와 계층적 잠재因수를 탐지하기 위해 워셔스타인 바리센터 최소화 문제로 문제를 재정의함으로써 최적 운반 기반의 새로운 프레임워크를 제안한다. 이는 설명되지 않은 분산을 줄이는 데 기여한다. 바리센터 클러스터링과 애핀 인수 탐지 알고리즘을 도입하여 k-means와 주성분 곡선을 일반화하며, 비일관성 있는 클러스터에 대해 더 뛰어난 내성과 함께 반복적인 계층적 잠재因수 탐지 기능을 제공한다.

ABSTRACT

The clustering problem, and more generally, latent factor discovery --or latent space inference-- is formulated in terms of the Wasserstein barycenter problem from optimal transport. The objective proposed is the maximization of the variability attributable to class, further characterized as the minimization of the variance of the Wasserstein barycenter. Existing theory, which constrains the transport maps to rigid translations, is extended to affine transformations. The resulting non-parametric clustering algorithms include k-means as a special case and exhibit more robust performance. A continuous version of these algorithms discovers continuous latent variables and generalizes principal curves. The strength of these algorithms is demonstrated by tests on both artificial and real-world data sets.

연구 동기 및 목표

• 기존의 평균 제곱 오차 목표 함수를 초월하여 더 강건하고 해석 가능한 잠재因수 탐지 프레임워크를 개발하기 위해.
• 최적 운반을 통해 두 번째 순서 통계를 통합함으로써 기존 클러스터링 및 주성분 곡선 방법의 한계를 해결하기 위해.
• 각 인수의 조건부 분포를 워셔스타인 바리센터로 통합함으로써 반복적인 계층적 잠재因수 탐지 기능을 가능하게 하기 위해.
• 고전적 k-means와 주성분 곡선 알고리즘을 통합된 최적 운반 기반 공식화의 특수 케이스로 일반화하기 위해.
• 고차원 데이터에서 배치 효과를 제거하고 연속적 및 이산적 잠재적 구조를 밝혀내는 확장 가능하고 원리적인 방법을 제공하기 위해.

제안 방법

• 조건부 분포의 워셔스타인 바리센터의 분산을 최소화하는 방식으로 인수 탐지 문제를 공식화함으로써, 설명되지 않은 변동성의 척도를 제공한다.
• 비틀림이 아닌 애핀 변환지도 허용함으로써 기존 최적 운반 이론을 확장하여 비일관성 있는 클러스터의 구조를 더 잘 모델링할 수 있도록 한다.
• 애핀 운반 하에 바리센터 분산에 대한 폐쇄형 표현을 유도하여 기울기 기반 최적화 방법을 효율적으로 적용할 수 있도록 한다.
• 클러스터별 공분산 행렬을 활용하여 비구형 클러스터에서의 성능을 향상시킨 바리센터 k-means 및 바리센터 클러스터링 알고리즘을 도입한다.
• 조건부 분포의 분산을 포함함으로써 주성분 곡선을 일반화하는 애핀 인수 탐지 알고리즘을 개발한다.
• 각 인수의 조건부 분포 바리센터를 후속 인수 탐지의 입력으로 사용하는 다단계 반복 절차를 제안하여 계층적 인수 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최적 운반은 평균 제곱 오차보다 더 강건한 목적 함수를 정의하는 데 어떻게 활용될 수 있는가?
• RQ2 고정 이동이 아닌 애핀 운반 지도 비일관성 있고 크기가 다른 클러스터에서 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 워셔스타인 바리센터의 분산은 데이터의 설명되지 않은 변동성에 대해 어떻게 대체 척도로 작용하는가?
• RQ4 제안된 프레임워크는 고전적 k-means와 주성분 곡선 알고리즘을 어떻게 일반화하는가?
• RQ5 조건부 분포를 바리센터 기반으로 통합함으로써 고차원 데이터에서 다수의 잠재因수를 효과적으로 반복 탐지할 수 있는가?

주요 결과

• 제안된 바리센터 클러스터링 알고리즘은 클러스터 공분산 행렬을 명시적으로 모델링함으로써 비일관성 있는 클러스터에서 표준 k-means보다 뛰어난 성능을 보인다.
• 바리센터 k-me안은 일반 바리센터 클러스터링과 유사한 성능를 달성하면서도 고전적 k-means의 계산 효율성을 유지한다.
• 애핀 인수 탐지 알고리즘은 조건부 분포의 분산을 통합함으로써 주성분 곡선을 성공적으로 일반화하여 연속 잠재변수 탐지 기능을 제공한다.
• 모든 제안된 알고리즘은 모든 조건부 분포가 오직 이동만 다를 경우 고전적 k-means 및 주성분 곡선 방법으로 수렴한다.
• 조건부 분포를 바리센터로 통합함으로써 의미 있는 구조를 유지하면서 반복적 인수 탐지 기능을 가능하게 하며, 계층적 인수 추출이 가능하다.
• 배치 효과에 대해 강건함을 입증하였으며, 여러 조건부 분포를 하나의 대표 바리센터로 통합할 때 왜곡이 최소화됨을 보였다.