[논문 리뷰] Computational information geometry: theory and practice

Karim Anaya‐Izquierdo, Frank Critchley외 2명|arXiv (Cornell University)|2012. 09. 10.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 3

한 줄 요약

이 논문은 단형순간을 기본 기하 객체로 사용하여 다양한 통계 모형—특히 고정된 차원이나 지지집합을 갖지 않는 모형—에서 수치 계산을 가능하게 하는 통합된 계산 정보기하학을 소개한다. 유한차원 공간에 모형을 통합함으로써 정보기하학, 지수가족, 혼합기하학을 통합하여 가능해지는 로그우도, 곡률, 모형선택 지표의 강력한 수치 알고리즘을 제공한다.

ABSTRACT

This paper lays the foundations for a unified framework for numerically and computationally applying methods drawn from a range of currently distinct geometrical approaches to statistical modelling. In so doing, it extends information geometry from a manifold based approach to one where the simplex is the fundamental geometrical object, thereby allowing applications to models which do not have a fixed dimension or support. Finally, it starts to build a computational framework which will act as a proxy for the 'space of all distributions' that can be used, in particular, to investigate model selection and model uncertainty. A varied set of substantive running examples is used to illustrate theoretical and practical aspects of the discussion. Further developments are briefly indicated.

연구 동기 및 목표

• 통계학에서의 이질적인 기하 접근법—정보기하학, 지수가족, 혼합기하학—을 하나의 계산 프레임워크로 통합하는 것.
• 고정된 차원의 다양체를 넘어서 변수 지지집합과 차원을 갖는 모형으로 정보기하학을 확장하기 위해 단형순간을 보편적인 정의도메인으로 사용하는 것.
• 모형 선택과 모형 불확실성 연구를 위해 모든 확률분포의 공간에 대한 계산적 대체물(proxy)을 개발하는 것.
• 유한차원 단형순간 공간에서의 명시적 계산을 통해 기하 통계 방법의 수치 구현을 가능하게 하는 것.
• 혼합모형, 로지스틱 회귀, 곡선 지수가족 등 다양한 실제 통계 예제를 통해 프레임워크의 유용성을 입증하는 것.

제안 방법

• 통계 모형을 $\Delta^k$의 부분집합으로 표현함으로써, 여기서 $k+1$은 카테고리의 수이며, 이는 유한차원 수치 처리를 가능하게 한다.
• 변수 지지집합을 모델링하기 위해 확장된 다항분포를 사용하여 기하 프레임워크 내에서 고정되지 않은 차원성을 허용한다.
• 단형순간 위에서 미분기하학을 적용하여 곡률, 피셔정보량, 고차원 모멘트를 수치적으로 계산한다.
• 볼록성과 우도 구조를 유지하는 선형 투영 $\Pi_L$을 활용하여 우도와 스코어 함수의 효율적 계산을 가능하게 한다.
• 로그우도 전개와 방향도를 활용하여 혼합모형에서 비모수적 최대우도추정치(NPMLE)를 계산한다.
• 핵심 행렬의 비특이성을 보장하기 위해 $K(x,y) = \exp(xy)$의 총양성(total positivity)을 이용하여 랭크 조건을 확보한다.

실험 결과

연구 질문

• RQ1 정보기하학은 지지집합이 변하는 등 고정된 차원이나 지지집합이 없는 모형으로 어떻게 확장될 수 있는가?
• RQ2 혼합모형, 지수가족, 정보기하학과 같은 이질적인 통계 기하 접근법을 하나의 계산 프레임워크로 통합할 수 있는가?
• RQ3 단형순간은 어떻게 모든 확률분포의 공간을 수치적으로 근사하는 데 보편적인 정의도메인으로 기능할 수 있는가?
• RQ4 기하 원리에서 유도된 어떤 수치 알고리즘이 복잡한 모형에서 우도, 곡률, 모형 적합도를 계산하는 데 사용될 수 있는가?
• RQ5 비지수가족 모형에서 고차원 점근적 방법과 곡률 기반 차원 축소는 어떻게 수치적으로 구현될 수 있는가?

주요 결과

• 단형순간 $\Delta^k$는 모든 확률분포에 대한 보편적이고 유한차원의 임bedding 공간을 제공하여 차원과 지지집합이 변하는 모형 간의 수치 계산을 가능하게 한다.
• 이 프레임워크는 정보기하학, 확장된 지수가족, 린드세이의 혼합기하학을 공통의 대수적 및 기하학적 기초를 통해 성공적으로 통합한다.
• 확장된 다항분포를 사용하여 로그우도, 스코어 함수, 고차도함수(예: 세 번째 도함수)의 수치 계산이 가능하며, 명시적으로 유도되었다.
• 혼합모형에서의 NPMLE는 $\epsilon$-근처에서 로그우도 변화에 대한 일阶 경계를 만족함을 보여주어 안정성 분석이 가능하다.
• 단형순간 위의 지수가족에서 유도된 행렬 $\widetilde{B}$의 랭크는 $k$임을 증명하여 모형 식별성과 핵심 기하량의 역행렬 가능성을 보장한다.
• 핵심 $K(x,y) = \exp(xy)$의 총양성 조건을 활용하여 행렬 $B^*$가 비특이임을 보장함으로써 기하 프레임워크에서의 랭크 조건을 증명하는 데 핵심적인 역할을 한다.