[논문 리뷰] Fisher information distance: a geometrical reading

Sueli I. R. Costa, Sandra A. Santos외 1명|arXiv (Cornell University)|2012. 10. 08.

Advanced Statistical Methods and Models참고 문헌 15인용 수 12

한 줄 요약

이 논문은 정규 분포에 대한 피셔 정보 거리의 기하적 해석을 쌍곡 기하학을 사용하여 제시하며, 단변량 및 다변량 케이스에 대한 닫힌 형태의 표현식을 유도한다. 리만 기하학과 쿨백-라이블러 발산에의 연결을 활용하여 원형 및 대각 행렬 공분산을 가진 다변량 가우시안에 대해 정확한 거리 공식을 수립함으로써 통계 및 신호 처리 분야에 더 깊이 있는 기하학적 기초를 제공한다.

ABSTRACT

This paper is a strongly geometrical approach to the Fisher distance, which is a measure of dissimilarity between two probability distribution functions. The Fisher distance, as well as other divergence measures, are also used in many applications to establish a proper data average. The main purpose is to widen the range of possible interpretations and relations of the Fisher distance and its associated geometry for the prospective applications. It focuses on statistical models of the normal probability distribution functions and takes advantage of the connection with the classical hyperbolic geometry to derive closed forms for the Fisher distance in several cases. Connections with the well-known Kullback-Leibler divergence measure are also devised.

연구 동기 및 목표

• 단변량 및 다변량 정규 분포에 대한 피셔 정보 거리의 기하적 해석을 제공한다.
• 특정 매개변수 공간에서 고전적 쌍곡 기하학을 사용하여 피셔 거리의 닫힌 형태 표현식을 유도한다.
• 통계 모델에서 피셔 거리와 쿨백-라이블러 발산 간의 관계를 탐구한다.
• 리만 기하학과 쌍곡 기하학의 알려진 결과와 연결하여 정보 기하학의 이해를 확장한다.
• 통계 다양체의 기하학적 구조를 명확히 하여 데이터 분석, 신호 처리 및 차원 축소에 실질적인 응용을 지원한다.

제안 방법

• 단변량 정규 분포의 경우 상반평면 모델의 쌍곡 기하학을 활용하며, 평균 μ와 표준편차 σ로 매개변수화된다.
• 고전적 쌍곡 기하학의 결과를 적용하여 μ와 σ에 대한 피셔 거리의 닫힌 형태 표현식을 도출한다.
• 공분산 행렬의 다양체에서 피셔 정보 계량을 고려함으로써 다변량 정규 분포로 분석을 확장한다.
• 원형 공분산(고정된 고유값)과 대각 공분산 행렬에 대해 곱 다양체 구조를 이용하여 피셔 거리를 유도한다.
• 포이아르의 모델과 등장사상 임bedding을 사용하여 피셔 계량을 알려진 쌍곡 공간과 연결한다.
• 지오데식 방정식과 곡률 분석을 활용하여 고정 평균 이변량 가우시안에 대해 특별히 중요한 통계 하위다양체의 내재 기하학을 특성화한다.

실험 결과

연구 질문

• RQ1 단변량 정규 분포의 맥락에서 피셔 정보 거리는 어떻게 기하학적으로 해석할 수 있는가?
• RQ2 정규 분포의 일반적인 매개변수화에서 피셔 거리에 대한 닫힌 형태의 표현식을 어떻게 도출할 수 있는가?
• RQ3 단변량 및 다변량 케이스에서 피셔 거리는 쿨백-라이블러 발산과 어떻게 관련이 있는가?
• RQ4 피셔 계량 하에서 다변량 정규 분포의 통계 다양체의 기하적 성질(예: 곡률, 지오데식선)은 무엇인가?
• RQ5 대각 또는 구형 공분산 행렬을 가진 특수 클래스의 다변량 가우시안에 대해 피셔 거리를 정확히 계산할 수 있는가?

주요 결과

• 단변량 정규 분포의 경우, 쌍곡 기하학을 통해 (μ, σ) 매개변수 공간에서 피셔 거리의 닫힌 형태 표현식이 존재하며, 이는 포이아르 반평면 모델과 동치이다.
• 두 단변량 정규 분포 사이의 피셔 거리는 기하학적 변환을 통해 쿨백-라이블러 발산과 관련이 있으며, 식 (13)과 (14)에 명시된 공식이 제공된다.
• 고정된 평균과 구형 공분산(원형 분포)을 가진 다변량 정규 분포의 경우, 피셔 거리는 $ d_F^2 = rac{1}{2} ext{Tr}((oldsymbol{ heta}_1 - oldsymbol{ heta}_2)^2) $로 주어지며, 곡률은 $ -1/p(p+1) $이다.
• 대각 공분산 행렬의 경우, 피셔 거리는 $ d_F^2 = rac{1}{2} ext{Tr}((oldsymbol{ heta}_1 - oldsymbol{ heta}_2)^2) $이며 곡률은 $ -1/(2(2p-1)) $이며, 계량은 독립된 성분으로 분해된다.
• 일반적인 이변량 케이스에서 임의의 정규 공분산 행렬을 가진 경우, 피셔 거리에 대한 닫힌 형태 표현식은 도출되지 않았으며, 수치적 방법이 필요하다.
• 회전 각도가 0인 고정 평균 이변량 가우시안의 경우, 피셔 거리는 $ d_F = rac{1}{ heta} ext{arccosh}(1 + rac{1}{2} ext{Tr}((oldsymbol{ heta}_1 - oldsymbol{ heta}_2)^2)) $로 간소화되며, 하위다양체는 완전히 지오데식적이므로 정확한 거리 계산이 가능하다.