[논문 리뷰] Learning Generative Models of Similarity Matrices

Rómer Rosales, Brendan J. Frey|arXiv (Cornell University)|2012. 10. 19.

Face and Expression Recognition참고 문헌 16인용 수 7

한 줄 요약

이 논문은 유사도 행렬을 위한 생성 확률 모델을 제안하며, 데이터 클러스터링을 잠재 변수 모델에서의 추론 문제로 재정의한다. 유사도 행렬을 생성 과정으로 모델링함으로써 클러스터링 구조와 잠재 거리 척도를 함께 학습할 수 있게 되어, 스펙트럴 클러스터링 및 기타 방법이 실패하는 어려운 클러스터링 작업에서 뛰어난 성능을 달성하며, 다양한 데이터셋에서의 실험적 검증을 통해 입증된다.

ABSTRACT

We describe a probabilistic (generative) view of affinity matrices along with inference algorithms for a subclass of problems associated with data clustering. This probabilistic view is helpful in understanding different models and algorithms that are based on affinity functions OF the data. IN particular, we show how(greedy) inference FOR a specific probabilistic model IS equivalent TO the spectral clustering algorithm.It also provides a framework FOR developing new algorithms AND extended models. AS one CASE, we present new generative data clustering models that allow us TO infer the underlying distance measure suitable for the clustering problem at hand. These models seem to perform well in a larger class of problems for which other clustering algorithms (including spectral clustering) usually fail. Experimental evaluation was performed in a variety point data sets, showing excellent performance.

연구 동기 및 목표

• 데이터 클러스터링에서 유사도 행렬을 모델링하기 위한 확률적 생성 프레임워크를 개발하는 것.
• 데이터로부터 클러스터링 구조와 잠재 거리 척도를 함께 추론할 수 있도록 하는 것.
• 복잡하거나 비선형 분포를 띠는 데이터에서 스펙트럴 클러스터링 및 기타 유사도 기반 방법의 한계를 해결하는 것.
• 새로운 클러스터링 알고리즘 및 확장된 모델을 설계하기 위한 체계적인 기반을 제공하는 것.
• 기본 알고리즘이 실패하는 데이터셋에서 개선된 클러스터링 성능을 보여주는 것.

제안 방법

• 클러스터 할당과 거리 매개변수를 나타내는 잠재 변수를 사용하여 유사도 행렬을 생성 과정으로 모델링한다.
• 관측된 유사도 값에 기반해 잠재 변수의 사후 분포를 근사하기 위해 변분 추론을 적용한다.
• 특정 모델 가정 하에서 수학적으로 스펙트럴 클러스터링과 동일한 결과를 도출하는 게으른 추론 전략을 사용한다.
• 거리 척도를 클러스터링 과정에서 함께 학습할 수 있도록 가능한 탄력적인 유사도 함수의 매개변수 형태를 도입한다.
• 유사도 관계의 불확실성을 포괄하는 생성 모델을 활용하여 강인한 추론을 가능하게 한다.
• 프레임워크를 확장하여 클러스터링 구조와 적절한 거리 척도를 동시에 끝에서 끝까지 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 유사도 행렬의 생성 모델이 히우리스틱 기반의 유사도 기반 클러스터링에 비해 더 체계적인 대안을 제공할 수 있는가?
• RQ2 제안된 모델의 추론 절차는 스펙트럴 클러스터링과 어떤 관계가 있는가?
• RQ3 모델이 데이터로부터 최적의 거리 척도와 클러스터링 구조를 함께 학습할 수 있는가?
• RQ4 생성 프레임워크는 스펙트럴 클러스터링이 실패하는 데이터셋에서 더 나은 성능을 내는가?
• RQ5 유사도 관계의 불확실성을 모델링함으로써 클러스터링의 강인성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델의 게으른 추론 절차는 특정한 확률적 설정 하에서 스펙트럴 클러스터링과 수학적으로 동일하다.
• 모델은 잠재 거리 척도를 성공적으로 학습하여, 기존 클러스터링 알고리즘이 실패하는 데이터셋에서 성능 향상을 이룬다.
• 다양한 점 집합 데이터셋에 대한 실험적 평가를 통해 복잡하거나 비선형적인 환경에서도 뛰어난 클러스터링 성능을 보였다.
• 생성 프레임워크는 표준 스펙트럴 클러스터링을 초월한 새로운 클러스터링 알고리즘 및 확장된 모델 개발을 가능하게 한다.
• 이 방법은 유사도 기반 클러스터링을 통합된 확률적 해석으로 제공하여 해석 가능성과 모델의 유연성을 향상시킨다.
• 어려운 데이터 분포를 가진 벤치마크 데이터셋에서 전통적인 스펙트럴 클러스터링보다 성능이 뛰어나다.