[논문 리뷰] Chernoff information of exponential families

Frank Nielsen|arXiv (Cornell University)|2011. 02. 14.

Statistical Methods and Inference참고 문헌 22인용 수 56

한 줄 요약

이 논문은 정보기하학을 활용하여 지수족 내에서 체르노프 정보를 계산하기 위한 폐쇄형 해와 효율적인 지오데식 이등분 알고리즘을 제시한다. 최적의 체르노프 점이 지수 지오데식과 오른쪽 Bregman Voronoi 이등분선의 교차점에 해당함을 보여주며, 정규분포나 다항분포와 같은 분포에 대해 체르노프 발산의 정확한 또는 정밀한 수치 근사를 가능하게 한다.

ABSTRACT

Chernoff information upper bounds the probability of error of the optimal Bayesian decision rule for $2$-class classification problems. However, it turns out that in practice the Chernoff bound is hard to calculate or even approximate. In statistics, many usual distributions, such as Gaussians, Poissons or frequency histograms called multinomials, can be handled in the unified framework of exponential families. In this note, we prove that the Chernoff information for members of the same exponential family can be either derived analytically in closed form, or efficiently approximated using a simple geodesic bisection optimization technique based on an exact geometric characterization of the "Chernoff point" on the underlying statistical manifold.

연구 동기 및 목표

• 통계적 분류 및 가설 검정에서 체르노프 정보의 계산 불가능성 문제를 해결하기 위해.
• 정규분포, 포아송분포, 다항분포 등을 포함한 지수족 전반에 걸쳐 체르노프 정보를 통합적으로 계산할 수 있는 프레임워크를 제공하기 위해.
• 체르노프 점의 기하학적 특성, 즉 지수 지오데식과 Bregman Voronoi 이등분선의 교차점으로서의 특성을 도출하기 위해.
• 고차원 또는 정확하지 않은 경우에 최적의 $\alpha$ 계수를 근사하기 위한 수치적으로 안정적이고 수렴하는 지오데식 이등분 알고리즘을 개발하기 위해.

제안 방법

• 체르노프 정보가 자연 매개변수에 대한 최대 $\alpha$-Jensen 발산으로 재정의되어 지수족 내에서 해석적 접근이 가능해지도록 한다.
• 최적의 $\alpha$ 계수는 기하 최적화 문제를 풀어 구한다: 체르노프 점은 두 분포 사이의 지수 지오데식과 오른쪽 Bregman Voronoi 이등분선의 교차점에 위치한다.
• 지오데식 이등분 알고리즘을 제안하며, 자연 매개변수 공간에서 $\alpha$ 간격을 반복적으로 정밀화하여 체르노프 점으로 수렴시킨다.
• 자연 매개변수와 기대치 매개변수 간의 이중성 관계를 활용하여, 양쪽 좌표계에서 이등분선 조건을 Bregman 발산을 통해 표현한다.
• 알고리즘은 Bregman 발산의 수직성 조건을 이용하여 수렴성을 보장하며, 체르노프 정보의 임의의 정밀도 근사를 가능하게 한다.
• 일변수 지수족의 경우, 체르노프 발산에 대한 폐쇄형 표현식을 도출할 수 있다.

실험 결과

연구 질문

• RQ1 동일한 지수족에 属하는 분포에 대해 체르노프 정보를 폐쇄형으로 계산할 수 있는가?
• RQ2 통계 다양체에서 최적의 $\alpha$ 계수의 기하학적 구조는 무엇인가?
• RQ3 폐쇄형 해가 존재하지 않을 경우 체르노프 점은 어떻게 효율적으로 근사할 수 있는가?
• RQ4 정보기하학 원리를 활용하여 체르노프 발산을 계산하는 데 수치적으로 안정적인 최적화 방법이 존재하는가?

주요 결과

• 일변수 지수족의 경우, 체르노프 정보는 자연 매개변수의 $\alpha$-Jensen 발산에 기반한 폐쇄형 분석적 해를 가진다.
• 최적의 $\alpha$ 계수는 통계다양체 상에서 지수 지오데식과 오른쪽 Bregman Voronoi 이등분선의 교차점에 해당한다.
• 지오데식 이등분 알고리즘은 선형 수렴성을 보이며, 자연 매개변수 공간에서 $\alpha$ 간격을 반복적으로 정밀화함으로써 체르노프 정보의 임의의 정밀도 근사를 가능하게 한다.
• 체르노프 점은 두 원천 분포에 대해 Bregman 발산의 등가 조건을 만족하는 지수 지오데식 상의 유일한 점으로 기하학적으로 특징지어진다.
• 특히 고차원 설정에서 직접 수치 최적화에 비해 상당한 계산적 이점을 제공한다.
• 이 프레임워크는 정규분포, 포아송분포, 다항분포와 같은 일반적인 분포들을 하나의 기하학적·해석적 접근으로 통합적으로 다룰 수 있다.