[논문 리뷰] Clustering in Hilbert simplex geometry

Frank Nielsen, Ke Sun|arXiv (Cornell University)|2017. 04. 03.

Face and Expression Recognition참고 문헌 110인용 수 6

한 줄 요약

이 논문은 정보 단조성(정보 기하학에서 중요한 조건)을 만족하는 비분리 힐버트 메트릭을 활용하여 확률 단체에서 범주형 분포를 군집화하기 위한 계산적으로 효율적인 프레임워크로 힐버트 단체 기하학을 소개한다. Aitchison 거리와 힐버트 단체 거리가 모두 정규화된 로그 표현에서의 노름 거리임을 입증하고, k-means 및 k-center 알고리즘을 사용한 실험적으로 우수한 군집 성능을 보여준다.

ABSTRACT

Clustering categorical distributions in the finite-dimensional probability simplex is a fundamental task met in many applications dealing with normalized histograms. Traditionally, the differential-geometric structures of the probability simplex have been used either by (i) setting the Riemannian metric tensor to the Fisher information matrix of the categorical distributions, or (ii) defining the dualistic information-geometric structure induced by a smooth dissimilarity measure, the Kullback-Leibler divergence. In this work, we introduce for clustering tasks a novel computationally-friendly framework for modeling geometrically the probability simplex: The {\em Hilbert simplex geometry}. In the Hilbert simplex geometry, the distance is the non-separable Hilbert's metric distance which satisfies the property of information monotonicity with distance level set functions described by polytope boundaries. We show that both the Aitchison and Hilbert simplex distances are norm distances on normalized logarithmic representations with respect to the $\ell_2$ and variation norms, respectively. We discuss the pros and cons of those different statistical modelings, and benchmark experimentally these different kind of geometries for center-based $k$-means and $k$-center clustering. Furthermore, since a canonical Hilbert distance can be defined on any bounded convex subset of the Euclidean space, we also consider Hilbert's geometry of the elliptope of correlation matrices and study its clustering performances compared to Fröbenius and log-det divergences.

연구 동기 및 목표

• 확률 단체에서 군집화를 위한 계산적으로 효율적인 기하 프레임워크를 개발하는 것.
• 기존의 정보 기하학적 및 리만 기반 모델에 비해 힐버트 단체 기하학이 타당한 대안이 될 수 있도록 확립하는 것.
• 비분리된 힐버트 단체 거리의 정보 단조성을 증명하는 것.
• Fisher-Rao, 쿨백-라이블러, 총변동 거리와의 비교를 통해 k-means 및 k-center 군집화에서 힐버트 기하학의 성능을 평가하는 것.
• 프레임워크를 공분산 행렬의 타원체로 확장하고 프로베니우스 및 로그-행렬식 발산과 비교하는 것.

제안 방법

• 비분리된 힐버트 메트릭을 사용하여 확률 단체에서 정의된 힐버트 단체 기하학으로, 이는 사영 변환에 대해 불변이다.
• 타원체에서 Birkhoff의 사영 거리에 대한 닫힌 형태의 공식을 유도하여 특화된 알고리즘 없이 정확한 계산이 가능해졌다.
• Aitchison 거리와 힐버트 단체 거리가 모두 정규화된 로그 표현에서의 노름 거리임을 입증하였으며, 전자는 ℓ₂ 노름을, 후자는 변동성(ℓ₁) 노름을 사용한다.
• 식 11을 적용하여 힐버트 단체 거리를 직접 계산함으로써 반복적 또는 특화된 해법기를 피할 수 있다.
• 힐버트 메트릭 하에서 k-means 및 k-center 알고리즘을 사용하여 군집화를 수행하였으며, 실험적 벤치마크를 통해 수렴성과 성능을 분석하였다.
• 프레임워크는 공분산 행렬의 타원체로 확장되었으며, 여기서 힐버트 메트릭은 Thompson 메트릭 및 쿨백-라이블러 발산과 비교되었다.

실험 결과

연구 질문

• RQ1 힐버트 단체 기하학은 기존의 정보 기하학적 프레임워크에 비해 계산적으로 효율적이고 기하학적으로 타당한 대안이 될 수 있는가?
• RQ2 비분리된 힐버트 단체 거리는 정보 기하학에서 핵심 조건인 정보 단조성을 만족하는가?
• RQ3 힐버트 단체 거리와 Aitchison 거리는 정규화된 로그 표현 공간에서의 노름 공간과 어떻게 관련이 있는가?
• RQ4 Fisher-Rao, 쿨백-라이블러, 총변동 거리와 비교했을 때 힐버트 기하학 기반 군집화의 경험적 성능 향상은 어떠한가?
• RQ5 힐버트 기하학 프레임워크는 공분산 행렬의 타원체와 같은 다른 유한한 볼록 도메인으로 일반화될 수 있는가?

주요 결과

• 비분리된 힐버트 단체 거리가 정보 단조성을 만족함을 입증하였으며, 이는 이 메트릭에 대해 이전에 증명되지 않았던 핵심 이론적 성질이다.
• 타원체에서 Birkhoff의 사영 거리에 대한 닫힌 형태의 표현식을 유도하여 정확하고 효율적인 계산이 가능해졌다.
• 힐버트 단체 거리가 정규화된 로그 표현 공간에서 변동성(ℓ₁) 노름에 대한 노름 거리임을 입증하였다.
• 실험 결과, 힐버트 기하학 기반의 k-means 및 k-center 알고리즘이 Fisher-Rao 및 쿨백-라이블러 메트릭을 사용하는 다양체 기반 접근법보다 군집 성능에서 뛰어나다는 것이 입증되었다.
• 힐버트 기하학 프레임워크는 FHR 및 IG 기반의 구역보다 더 날카운 군집 영역(Hilbert 구)을 생성하여 수렴성 향상과 경쟁 가능한 성능 기여를 하였다.
• 이 방법은 타원체로 일반화되었으며, 여기서 힐버트 메트릭은 Thompson 메트릭 및 대칭화된 쿨백-라이블러 발산 대비 뛰어난 성능을 보였다.