[논문 리뷰] A generalization of the Jensen divergence: The chord gap divergence

Frank Nielsen|arXiv (Cornell University)|2017. 09. 29.

Advanced Statistical Methods and Models참고 문헌 22인용 수 3

한 줄 요약

이 논문은 스케일드 젠슨 발산과 바타차리아 발산을 일반화한 삼매개변수 발산인 '현가 발산(chord gap divergence)'을 제안한다. 이는 지수형 가족 내 통계적 이질성의 개선된 모델링을 가능하게 하며, 발산에 대한 타일러-라그랑주 나머지 형태를 유도하고, 수렴 분석을 통해 k-means++ 클러스터링의 경쟁력 있는 성능을 입증한다.

ABSTRACT

We introduce a novel family of distances, called the chord gap divergences, that generalizes the Jensen divergences (also called the Burbea-Rao distances), and study its properties. It follows a generalization of the celebrated statistical Bhattacharyya distance that is frequently met in applications. We report an iterative concave-convex procedure for computing centroids, and analyze the performance of the $k$-means++ clustering with respect to that new dissimilarity measure by introducing the Taylor-Lagrange remainder form of the skew Jensen divergences.

연구 동기 및 목표

• 스케일드 젠슨 발산과 바타차리아 거리가 특수 케이스가 되는 삼매개변수 발산 가족으로 젠슨 발산을 일반화하는 것.
• 볼록 함수 부등식을 이용해 지수형 가족 내 통계적 이질성 측정의 통합 프레임워크를 제공하는 것.
• 탄력적이고 조정 가능한 발산 측정을 도입하여 클러스터링 및 정보 융합에서 더 나은 성능을 달성하는 것.
• 타일러-라그랑주 나머지 형태를 사용하여 새로운 발산 하에서 k-means++의 수렴성과 성능을 분석하는 것.
• 공개된 자바 소스 코드를 통해 재현 가능한 연구를 지원하는 것.

제안 방법

• 세 매개변수 α, β, γ를 사용하여 스케일드 젠슨 발산의 일반화로 현가 발산을 제안한다.
• 정확한 나머지 항을 포함한 두 번째 차수 타일러 전개를 사용하여 현가 발산의 타일러-라그랑주 나머지 형태를 유도한다.
• 극한 경우(α→0 또는 α→1)에서 현가 발산이 브레그만 발산으로 수렴함을 입증한다.
• 현가 발산 하에서 중심점을 계산하기 위한 반복적인 오목-볼록 절차를 제안한다.
• 현가 발산을 사용하여 k-means++의 성능을 분석하고, 이가 발산 하에서 Oρ(log k)-경쟁 가능함을 보여준다.
• 현가 발산이 동일한 지수형 가족에 속하는 분포에 대해 스케일드 바타차리아 발산을 일반화함을 입증한다.

실험 결과

연구 질문

• RQ1 젠슨 발산은 어떻게 스케일드 젠슨 발산과 바타차리아 발산을 특수 케이스로 포함하는 삼매개변수 가족으로 일반화할 수 있는가?
• RQ2 정확한 나머지 항을 포함한 두 번째 차수 타일러 전개의 관점에서 현가 발산의 해석적 구조는 어떠한가?
• RQ3 극한 경우에서 현가 발산은 브레그만 발산과 쿨리블라크-라이블러 발산과 어떻게 관련이 있는가?
• RQ4 나머지 기반 오차 한계를 사용하여 현가 발산 하에서 k-means++가 경쟁 가능함을 증명할 수 있는가?
• RQ5 헤시안 행렬은 현가 발산의 곡률를 기술하는 데 어떤 역할을 하는가?

주요 결과

• 현가 발산은 스케일드 젠슨 발산을 일반화하며, 동일한 지수형 가족에 속하는 분포일 경우 바타차리아 거리가 특수 케이스로 포함된다.
• 현가 발산의 타일러-라그랑주 나머지 형태는 (p−q)⊤H_F^{α,β,γ}(p:q)(p−q)로 표현되며, 이때 헤시안 행렬 항은 볼록 조합 내 중간 지점에 의존한다.
• 현가 발산 중심점은 반복적인 오목-볼록 절차를 통해 계산되며, 엄밀히 볼록 함수에 대해 수렴을 보장한다.
• k-means++ 알고리즘은 현가 발산 하에서 Oρ(log k)-경쟁 가능함을 입증하였으며, 여기서 ρ는 헤시안 행렬의 스펙트럼 성질에 기반한 조건수이다.
• 스케일드 젠슨 발산은 타일러-라그랑주 나머지 형태로 표현 가능하며, J_F^{(α)}(p:q) = (α(1−α)/2)(p−q)⊤(α∇²F(ξ₁)+(1−α)∇²F(ξ₂))(p−q)로 기술된다.
• 극한 α→0 또는 α→1에서 현가 발산은 각각 브레그만 발산 B_F(q:p) 또는 B_F(p:q)로 수렴함을 확인하여 기존의 발산과의 일致성을 입증한다.