[논문 리뷰] Total Jensen divergences: Definition, Properties and k-Means++ Clustering

Frank Nielsen, Richard Nock|arXiv (Cornell University)|2013. 09. 27.

Statistical Mechanics and Entropy참고 문헌 22인용 수 9

한 줄 요약

이 논문은 볼록 함수에서 유도된 회전 불변인 새로운 종류의 산란도인 총 제논 산란도를 소개한다. 이는 제논 및 브레그만 산란도를 일반화한다. 논문은 k-means++ 초기화가 이러한 산란도 하에서 최적의 k-means 군집화에 대해 상수 요인 근사치를 제공함을 입증하며, 군집 품질과 이상치에 대한 총 제논 중심점의 강건성에 대한 이론적 경계를 설정한다.

ABSTRACT

We present a novel class of divergences induced by a smooth convex function called total Jensen divergences. Those total Jensen divergences are invariant by construction to rotations, a feature yielding regularization of ordinary Jensen divergences by a conformal factor. We analyze the relationships between this novel class of total Jensen divergences and the recently introduced total Bregman divergences. We then proceed by defining the total Jensen centroids as average distortion minimizers, and study their robustness performance to outliers. Finally, we prove that the k-means++ initialization that bypasses explicit centroid computations is good enough in practice to guarantee probabilistically a constant approximation factor to the optimal k-means clustering.

연구 동기 및 목표

• 회전 불변이며 기존의 제논 및 브레그만 산란도를 일반화하는 새로운 산란도 가족—총 제논 산란도—를 소개하는 것.
• 총 제논 중심점을 평균 왜곡 최소화자로 정의하고 이상치에 대한 강건성 분석을 수행하는 것.
• k-means++ 초기화가 총 제논 산란도 하에서 최적의 k-means 군집화에 대해 상수 요인 근사치를 제공함을 증명하는 것.
• 이 산란도의 기하학적 및 통계적 성질, 특히 비분리 가능한 콪형 인자와 총 브레그만 산란도와의 관계를 탐구하는 것.

제안 방법

• 논문은 생성 함수의 헤시안 행렬에서 유도된 콪형 인자를 가진 표준 기울기 제논 산란도의 콰드라틱 스케일링으로 총 제논 산란도를 정의한다.
• 생성 함수의 조건 수(K₁)와 립시츠 조건(K₂)에 대한 가정을 바탕으로 총 제논 산란도에 대한 이론적 경계를 설정한다.
• 기대 총 제논 잠재 에너지의 상한을 유도하여 k-means++ 초기화가 최적의 k-means 군집화에 대해 상수 근사 요인을 제공함을 증명한다.
• 닫힌 형태의 해가 존재하지 않을 경우 총 제논 중심점을 효과적으로 근사하기 위해 이중 단계 반복 알고리즘을 제안한다.
• 강건성 평가를 위해 총 제논 중심점의 影響 함수를 분석하여, 강건성은 생성 함수의 선택에 따라 달라짐을 보여준다.
• 총 제논 산란도와 총 브레그만 산란도를 비교하여, 콰드라틱 인자 구조와 극한 행동에서의 차이점을 강조한다.

실험 결과

연구 질문

• RQ1 총 제논 산란도는 어떻게 정의되어야 하며, 이로 인해 회전 불변성이 확보되고 기하학적 및 통계적 성질에 어떤 영향을 미치는가?
• RQ2 총 제논 산란도를 왜곡 측도로 사용할 경우, k-means++ 초기화가 최적의 k-means 군집화에 대해 상수 요인 근사치를 제공하는가?
• RQ3 총 제논 중심점은 이상치에 강건한가? 그리고 그 강건성은 생성 함수의 선택에 어떻게 의존하는가?
• RQ4 총 제논 산란도는 총 브레그만 산란도와 어떻게 관련되어 있으며, 특히 콰드라틱 인자와 극한 경우에서의 관계는 어떠한가?
• RQ5 특히 다변량 및 비분리 가능한 경우에 총 제논 중심점은 가중 평균 왜곡의 유일한 최소화자인가?

주요 결과

• 총 제논 산란도는 삼각 부등식을 상수 요인 U = 2(1 + K₂)K₁² / ε로 만족하며, 여기서 K₁은 헤시안의 조건 수이고 K₂는 립시츠 상수이다.
• 대칭 부등식 조건은 V = K₁²(1 + K₂)/ε로 성립하여, k-means++ 초기화 하에서 유한한 군집 잠재 에너지를 보장한다.
• k-means++를 사용한 기대 총 제논 잠재 에너지는 최적 잠재 에너지의 2U²(1 + V)(2 + log k) 배 이내로 경계지어지며, 이는 상수 근사 요인을 증명한다.
• 주어진 가정 하에 총 제논 중심점의 영향 함수는 유계이므로 이상치에 대해 강건함을 나타낸다.
• 일반적으로 총 제논 중심점은 닫힌 형태의 해를 갖지 않지만, 이중 단계 반복 알고리즘이 효과적으로 근사할 수 있다.
• 총 제논-샤논 산란도는 표준 제논-샤논 산란도의 제곱근과 달리 메트릭 성질을 만족하지 않는다.