[논문 리뷰] Conjugate Projective Limits

Peter Orbanz|arXiv (Cornell University)|2010. 12. 02.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 6

한 줄 요약

이 논문은 비모수 베이지안 모형의 켤레 성질을 무한차원 지수족과 그 켤레 사전분포의 일반화로 특성화하기 위해 사영極한 프레임워크를 제안한다. 비모수 사후분포, 충분통계량, 켤레 갱신을 유한차원 대응체의 사영극한으로 표현함으로써, 디리클레 과정과 가우시안 과정과 같은 모형들이 공통의 켤레 성질에 의해 통합되는 일반 이론을 수립한다.

ABSTRACT

We characterize conjugate nonparametric Bayesian models as projective limits of conjugate, finite-dimensional Bayesian models. In particular, we identify a large class of nonparametric models representable as infinite-dimensional analogues of exponential family distributions and their canonical conjugate priors. This class contains most models studied in the literature, including Dirichlet processes and Gaussian process regression models. To derive these results, we introduce a representation of infinite-dimensional Bayesian models by projective limits of regular conditional probabilities. We show under which conditions the nonparametric model itself, its sufficient statistics, and -- if they exist -- conjugate updates of the posterior are projective limits of their respective finite-dimensional counterparts. We illustrate our results both by application to existing nonparametric models and by construction of a model on infinite permutations.

연구 동기 및 목표

• 무한차원에서 켤레 비모수 베이지안 모형과 지수족 분포 간의 구조적 연결 고리를 공식화하기 위해.
• 조건부 확률과 유한차원 마진 분포의 사영극한을 사용하여 비모수 베이지안 모형의 일반적 표현을 개발하기 위해.
• 비모수 모형에서의 충분통계량과 사후 갱신이 그 유한차원 대응체의 사영극한이 되는 조건을 확립하기 위해.
• 디리클레 과정, 가우시안 과정, 베타/감마 과정과 같은 기본 모형들을 동일한 이론적 프레임워크 아래 통합하기 위해.
• 사영극한과 풀백 구조를 통해 새로운 비모수 모형, 예를 들어 무한치 순열 위의 모형을 체계적으로 구축할 수 있도록 하기 위해.

제안 방법

• 코모고로프의 확장 정리와 일반화된 사영극한 구성법을 사용하여 비모수 베이지안 모형을 유한차원 조건부 확률 분포의 사영극한으로 표현한다.
• 사영극한만으로는 포착되지 않는 거의확실한 경로 성질(예: 연속성, σ-덧셈성)을 코딩하기 위해 풀백 메커니즘을 도입한다.
• 프레임워크를 적용하여 비모수 모형에서의 충분통계량과 사후 갱신이 그 유한차원 대응체의 사영극한임을 보여준다.
• 지수족과 그 켤레 사전분포의 구조를 이용하여, 비모수 설정으로 일반화된 무한차원 모형의 클래스를 정의한다.
• 측도론적 도구를 활용하여 사영가족임을 검증한다. 이는 보렐 임bedding, 곱공간 사상(예: ψ_n를 통한), 尾 σ-대거성 성질 등을 포함한다.
• 대칭군 모형의 사영극한과 가상순열을 이용하여 무한치 순열 위의 비모수 모형을 구성한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 모형이 유한차원 켤레 모형의 사영극한으로 표현될 수 있는 조건은 무엇인가?
• RQ2 비모수 모형의 충분통계량과 사후 갱신은 그 유한차원 대응체의 사영극한으로 어떻게 특성화될 수 있는가?
• RQ3 지수족과 그 표준 켤레 사전분포의 비모수적 일반화에 해당하는 무한차원 모형의 클래스는 무엇인가?
• RQ4 연속성 또는 σ-덧셈성과 같은 경로 성질은 사영극한 표현에 어떻게 통합될 수 있는가?
• RQ5 이 사영극한 프레임워크를 사용하여, 무한치 순열 위의 새로운 비모수 모형을 시스템적으로 구축할 수 있는가?

주요 결과

• 디리클레 과정과 가우시안 과정을 포함한 켤레 비모수 베이지안 모형들이 유한차원 지수족과 그 켤레 사전분포의 사영극한임이 입증되었다.
• 적당한 정규성 조건 하에서 비모수 모형의 충분통계량과 사후 갱신은 그 유한차원 대응체의 사영극한임이 입증되었다.
• 무한치 순열 모형은 대칭군 모형의 사영극한으로 구성되며, 경로 성질은 풀백 구성으로 표현된다.
• 초모수가 ℓ₁ 공간에 있을 때에만 랜덤 순열 모형이 거의확실하게 가상순열의 군에 속한다. 이는 보렐-칸텔리 보조정리로 검증되었다.
• 무한치 순열 모형의 사후분포는 조건부분포의 사영가족이며, 측도론적 풀백과 곱공간 구조를 사용하여 검증되었다.
• 이 프레임워크는 사영극한과 적절한 풀백을 조합함으로써 새로운 비모수 모형을 체계적으로 구축할 수 있는 일반적 방법을 제공하며, 기존의 구성 방식을 초월한다.