[논문 리뷰] Asymptotic Approximation of Marginal Likelihood Integrals

Shaowei Lin|arXiv (Cornell University)|2010. 03. 28.

Polynomial and algebraic computation참고 문헌 23인용 수 16

한 줄 요약

이 논문은 베이지안 통계에서의 주변 가능도 적분을 근사하기 위한 渐近적 방법을 제시한다. 이는 다항식 아이디얼의 실 로그 캐논리컬 임계값(RLCT)을 계산함으로써 문제를 축소시켜 해결한다. 특이점의 해소를 통해, 실분석적 매개변수화를 가진 모든 이산 지수족 모형에 대해 정확한 주변 가능도 평가가 가능하며, 베이지안 모형 비교 분야에서 오랫동안 남아있던 문제에 대한 체계적이고 효과적인 해결책을 제공한다.

ABSTRACT

The accurate asymptotic evaluation of marginal likelihood integrals is a fundamental problem in Bayesian statistics. Following the approach introduced by Watanabe, we translate this into a problem of computational algebraic geometry, namely, to determine the real log canonical threshold of a polynomial ideal, and we present effective methods for solving this problem. Our results are based on resolution of singularities, and they apply to all statistical models for discrete data that admit a parametrization by real analytic functions.

연구 동기 및 목표

• 베이지안 모형 비교에서 주변 가능도 적분을 渐近적으로 평가하는 데 있어 근본적인 과제를 해결하기 위해.
• 주변 가능도 평가 문제를 다항식 아이디얼을 포함하는 계산 대수기하 문제로 번역하기 위해.
• 주변 가능도 근사의 핵심 양인 실로그 캐논리컬 임계값(RLCT)을 효과적으로 계산하기 위한 알고리즘을 개발하기 위해.
• 실분석적 매개변수화를 가진 모든 이산 통계 모형으로의 渐近적 방법의 적용 범위를 확장하기 위해.

제안 방법

• 이 방법은 모형의 우도와 사전확률에서 유도된 다항식 아이디얼의 실로그 캐논리컬 임계값(RLCT) 계산으로 주변 가능도 적분을 축소시킨다.
• 특이점의 해소를 활용하여 우도-사전 곱의 특이점을 분석함으로써 적분의 정밀한 渐近적 전개를 가능하게 한다.
• 대수기하 도구를 활용하여 적분을 직접 계산하지 않고도 기하학적 및 대수적 불변량에 기반해 RLCT를 계산한다.
• 알고리즘 프레임워크는 실분석적 매개변수화를 가진 모든 이산 지수족 모형에 일반적으로 적용 가능하다.
• 모수 공간 내 특이점의 구조를 이용함으로써 대표 표본 크기의 극한에서 수렴성과 정확성을 보장한다.
• 해소 데이터에서 RLCT를 추출하는 기호 계산 기법을 통해 솔루션이 구현된다.

실험 결과

연구 질문

• RQ1 일반적인 이산 모형에 대해 정확하고 계산 가능성이 있는 방식으로 주변 가능도 적분을 어떻게 渐近적으로 근사할 수 있는가?
• RQ2 베이지안 모형에서 주변 가능도의 渐近적 행동을 지배하는 대수기하 불변량은 무엇인가?
• RQ3 모든 실분석적 통계 모형에 대해 실로그 캐논리컬 임계값(RLCT)을 효과적으로 계산할 수 있는가?
• RQ4 특이점의 해소가 주변 가능도에 대한 渐近적 전개 유도에 어떻게 기여하는가?
• RQ5 모형의 매개변수 공간 기하학과 주변 가능도의 渐近적 행동 사이의 관계는 무엇인가?

주요 결과

• 실로그 캐논리컬 임계값(RLCT)은 베이지안 모형에서 주변 가능도 적분의 渐近적 행동을 결정짓는 핵심 양이다.
• 특이점의 해소를 통해 RLCT를 알고리즘적으로 계산할 수 있으며, 이는 주변 가능도의 渐近적 평가를 위한 체계적인 방법을 제공한다.
• 이 방법은 실분석적 매개변수화를 가진 모든 이산 통계 모형, 특히 지수족에 대해 일반적으로 적용 가능하다.
• 주변 가능도의 渐近적 근사는 RLCT와 표본 크기에 의해 지배되며, 수렴 속도는 특이점의 구조에 의해 결정된다.
• 기존의 라플라스 근사가 실패하는 고차원 및 특이 모형에서도 정확한 모형 비교가 가능하다.