[논문 리뷰] Bounded divergence measures based on Bhattacharyya coefficient

Ahmed Roman, Shivakumar Jolad외 1명|arXiv (Cornell University)|2012. 01. 02.

Advanced Statistical Methods and Models참고 문헌 26인용 수 2

한 줄 요약

이 논문은 절대 연속성 조건이 필요 없으며 대칭적이고 유계이며 양의 준정의인 분포 간의 발산인 유계 바타카리아 거리(Bounded Bhattacharyya Distance, BBD)를 소개한다. BBD는 바타카리아 계수를 기반으로 하며, Csiszár f-발산 클래스에 속하고 헬링거 및 젠슨-섀넌 발산과 관련이 있으며 베이지안 오차 확률을 경계 지으며, 그 곡률은 피셔 정보와 대응하여 매개수 가족 내에서 Rao 지오데식 거리 계산이 가능하다.

ABSTRACT

We introduce a new entropy based measure, the bounded Bhattacharyya distance (BBD), for quantifying the dissimilarity between probability distributions. BBD is based on the Bhattacharyya coefficient (fidelity) , and is symmetric, positive semi-definite, and bounded. Unlike the Kullback-Leibler divergence, BBD does not require probability density functions to be absolutely continuous with respect to each other. We show that BBD belongs to the class of Csiszar f-divergence and derive certain relationships between BBD and well known measures such as Bhattacharyya, Hellinger and Jensen-Shannon divergence. Bounds on the Bayesian error probability are established with BBD measure. We show that the curvature of BBD in the parameter space of families of distributions is proportional to the Fisher information. For distributions with vector valued parameters, the curvature matrix can be used to obtain the Rao geodesic distance between them. We also discuss a potential application of probability distance measures in model selection.

연구 동기 및 목표

• 분포 간 절대 연속성 조건이 필요 없으며 대칭적이고 유계인 새로운 확률 발산 측도를 개발하는 것.
• 유계 바타카리아 거리(BBD)와 바타카리아, 헬링거, 젠슨-섀넌 발산과 같은 기존의 발산 간의 이론적 연결 고리를 설정하는 것.
• BBD 측도를 사용하여 베이지안 오차 확률에 대한 경계를 유도하는 것.
• 매개수 공간에서 BBD의 곡률이 피셔 정보와 어떻게 관련되어 있는지 밝히고, 이로써 매개수 가족 내에서 지오데식 거리 계산이 가능하게 하는 것.
• 정보이론적 원리를 기반으로 BBD의 모형 선택에서의 유용성을 탐색하는 것.

제안 방법

• Bhattacharyya 계수(신뢰도)의 변환으로 유계 바타카리아 거리(BBD)를 제안하여 대칭성과 유계성을 보장한다.
• BBD가 Csiszár f-발산 클래스에 속함을 증명하여 기존의 f-발산 성질을 활용할 수 있음을 보여준다.
• BBD와 다른 발산 간의 해석적 관계를 유도하며, 헬링거 및 젠슨-섀넌 발산을 포함한다.
• BBD 측도를 사용하여 베이지안 오차 확률의 상한 및 하한을 설정한다.
• 지수 가족의 매개수 공간에서 BBD의 곡률을 분석하여 피셔 정보 행렬에 비례하는 것으로 보여준다.
• BBD의 곡률 행렬을 사용하여 벡터 매개수 가족 내 분포 간의 Rao 지오데식 거리를 계산한다.

실험 결과

연구 질문

• RQ1 절대 연속성 조건 없이 바타카리아 계수에서 대칭적이고 유계이며 양의 준정의 발산을 어떻게 구성할 수 있는가?
• RQ2 BBD는 바타카리아, 헬링거, 젠슨-섀넌 발산과 같은 잘 알려진 f-발산과 어떤 관계가 있는가?
• RQ3 BBD를 사용하여 베이지안 분류 오차 확률을 경계 지을 수 있으며, 그 경계는 얼마나 날카로운가?
• RQ4 매개수 공간에서 BBD의 곡률은 피셔 정보 행렬과 어떻게 관련되어 있는가?
• RQ5 BBD의 곡률 행렬을 사용하여 매개수 가족 내 분포 간의 지오데식 거리를 정의할 수 있는가?

주요 결과

• 유계 바타카리아 거리(BBD)는 대칭적이며, 0에서 1 사이로 유계이며, 확률 분포 간 비교에 적합하다.
• BBD가 공식적으로 Csiszár f-발산 클래스의 원소임을 증명하여 일반적인 f-발산 결과의 적용이 가능하다.
• 특히 분포 간 겹침이 적은 경우, 일부 고전적 발산보다 BBD가 베이지안 오차 확률에 더 날카운 경계를 제공한다.
• 매개수 공간에서 BBD의 곡률은 피셔 정보 행렬에 비례하며, 이는 정보 기하학과의 연결 고리를 제공한다.
• 벡터 매개수를 가진 가족의 경우, BBD 곡률 행렬은 분포 간의 Rao 지오데식 거리를 유도하여 내재적 거리 계산이 가능하게 한다.
• BBD는 기하학적 및 확률적 성질이 우수하므로 모형 선택에 응용 가능하며, 통계 모형 간 효율적 비교를 지원한다.