[논문 리뷰] A unified framework for hard and soft clustering with regularized optimal transport

Diebold, Jean-Frédéric, Nicolas Papadakis외 2명|arXiv (Cornell University)|2017. 11. 12.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 8

한 줄 요약

이 논문은 유한 혼합모형에서 정규화된 최적 운반 이론을 통해 하드 클러스터링과 소프트 클러스터링을 통합하는 프레임워크를 제안한다. 이는 Bregman 발산을 통해 k-means 및 기대최대화 알고리즘을 일반화한다. 연구는 엔트로피 정규화에서 다양한 매개수를 가질 때 두 알고리즘이 특수한 경우로 나타남을 보이며, 지수족 분포 모델에서 클러스터링에 대한 일관된 이론적 기반을 제공한다.

ABSTRACT

In this paper, we formulate the problem of inferring a Finite Mixture Model from discrete data as an optimal transport problem with entropic regularization of parameter $\\lambda\\geq 0$. Our method unifies hard and soft clustering, the Expectation-Maximization (EM) algorithm being exactly recovered for $\\lambda=1$. The family of clustering algorithm we propose rely on the resolution of nonconvex problems using alternating minimization. We study the convergence property of our generalized $\\lambda-$EM algorithms and show that each step in the minimization process has a closed form solution when inferring finite mixture models of exponential families. Experiments highlight the benefits of taking a parameter $\\lambda>1$ to improve the inference performance and $\\lambda\ o 0$ for classification.

연구 동기 및 목표

• 정규화된 최적 운반에 기반한 단일 최적화 프레임워크를 통해 하드 및 소프트 클러스터링 방법을 통합한다.
• 유한 혼합모형을 위한 더 넓은 매개수 추정 체계의 사례로 k-means 및 기대최대화 알고리즘을 일반화한다.
• 지수족 분포에서 클러스터링과 Bregman 발산 사이의 이론적 연결을 구축한다.
• 표준 클러스터링 알고리즘을 특수한 경우로 복원할 수 있는 융통성 있고 볼록 정규화된 최적화 접근법을 제공한다.

제안 방법

• 엔트로피 정규화를 사용하여 유한 혼합모형의 매개수 추정을 정규화된 최적 운반 문제로 공식화한다.
• 운반 계획의 부드러움과 계산 가능성 확보를 위해 싱크혼 거리를 적용한다.
• 멤버십, 가중치, 클러스터 매개수를 반복적으로 갱신하는 교대 최적화 방식을 유도한다.
• Bregman 발산을 사용하여 운반 비용을 지수족의 통계적 모델과 연결한다.
• 정규화 매개수 λ → 0일 때 k-means로의 극한을 재구성하고, λ → ∞일 때 EM으로의 극한을 재구성한다.
• 자연 매개수와 충분통계량 사이의 이중성을 활용하여 클러스터 프로토타입에 대한 닫힌 형태 갱신을 유도한다.

실험 결과

연구 질문

• RQ1 하드 및 소프트 클러스터링은 어떻게 단일 최적화 프레임워크 아래 공식적으로 통합될 수 있는가?
• RQ2 엔트로피 정규화는 k-means 및 EM 알고리즘 사이를 보간하는 데 어떤 역할을 하는가?
• RQ3 Bregman 발산은 지수족 혼합모형의 최적 운반 맥락에서 어떻게 자연스럽게 도출되는가?
• RQ4 정규화를 통해 더 일반적인 클러스터링 프레임워크의 특수한 경우로 k-means 및 EM 알고리즘이 유도될 수 있는가?
• RQ5 정규화 매개수 λ와 결과 클러스터링 행동 사이의 관계는 무엇인가?

주요 결과

• k-means 알고리즘은 제안된 프레임워크에서 정규화 매개수 λ가 0에 수렴할 때의 극한에 해당한다.
• 지수족 혼합모형에 대한 기대최대화 알고리즘은 λ가 무한대에 수렴할 때의 극한에 해당한다.
• λ = 1일 때, 프레임워크는 표준 Bregman 소프트 클러스터링 알고리즘을 복원한다.
• 클러스터 프로토타입은 운반 계획에서 유도된 가중치를 가진 데이터 포인트의 가중 평균으로 갱신된다.
• 수렴성과 다양한 클러스터링 환경에서의 안정성을 보장하는 볼록 정규화된 최적화 경로를 제공한다.
• Bregman 발산을 사용한 공통 최적 운반 공식화 내에서 k-means와 EM을 모두 일반화한다.