[논문 리뷰] A Bayesian View of the Poisson-Dirichlet Process

Wray Buntine, Marcus Hütter|arXiv (Cornell University)|2010. 07. 02.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 48

한 줄 요약

이 논문은 크기가 N인 표본에서의 고유 종의 수(M)의 분포에 대한 재귀적 특성화를 유도하여 포isson-dirichlet 과정의 베이지안적 해석을 제시한다. 일반화된 스티어링 수 S(N,M; -1,-a,0)가 정규화된 확률질량함수 p(M|N)와 정확히 일치함을 입증하여, 재귀와 경계 조건을 통한 조합론적 및 분석적 기반을 마련한다.

ABSTRACT

The two parameter Poisson-Dirichlet Process (PDP), a generalisation of the Dirichlet Process, is increasingly being used for probabilistic modelling in discrete areas such as language technology, bioinformatics, and image analysis. There is a rich literature about the PDP and its derivative distributions such as the Chinese Restaurant Process (CRP). This article reviews some of the basic theory and then the major results needed for Bayesian modelling of discrete problems including details of priors, posteriors and computation. The PDP allows one to build distributions over countable partitions. The PDP has two other remarkable properties: first it is partially conjugate to itself, which allows one to build hierarchies of PDPs, and second using a marginalised relative the CRP, one gets fragmentation and clustering properties that lets one layer partitions to build trees. This article presents the basic theory for understanding the notion of partitions and distributions over them, the PDP and the CRP, and the important properties of conjugacy, fragmentation and clustering, as well as some key related properties such as consistency and convergence. This article also presents a Bayesian interpretation of the Poisson-Dirichlet process based on an improper and infinite dimensional Dirichlet distribution. This means we can understand the process as just another Dirichlet and thus all its sampling properties emerge naturally. The theory of PDPs is usually presented for continuous distributions (more generally referred to as non-atomic distributions), however, when applied to discrete distributions its remarkable conjugacy property emerges. This context and basic results are also presented, as well as techniques for computing the second order Stirling numbers that occur in the posteriors for discrete distributions.

연구 동기 및 목표

• 표본 내 고유 종의 수의 분포를 통해 포아송-디리클레 과정의 베이지안적 해석을 제공한다.
• 예측 샘플링 역학에 기반한 p(M|N)에 대한 재귀 공식을 유도한다.
• 종 수 분포와 일반화된 스티어링 수 S(N,M; -1,-a,0) 사이의 동치성을 확립한다.
• 명시적 표현을 사용하여 분포의 경계 조건과 점점 가까워지는 행동을 검증한다.

제안 방법

• 디리클레 과정의 예측 분포를 사용하여 p(M_{N+1} = m | M_N)에 대한 재귀를 유도한다.
• 레마 LABEL:lem-exp의 명시적 형태 p(M_N = m) = S_{m,a}^N (b|a)^m / (b)_N 를 사용한다.
• 재귀를 적용하여 다음과 같은 재귀식 유도: S_{m,a}^{N+1} = S_{m-1,a}^N + (N - m a) S_{m,a}^N.
• 매개변수 (-1,-a,0)를 가진 일반화된 스티어링 수 S(n,k; @, β,r) 가 종 수 분포와 일치함을 확인한다.
• 정의와 조합론적 해석을 통해 경계 조건 S_{m,a}^N = 0 (m > N) 및 S_{0,a}^N = δ_{N,0} 를 검증한다.
• 표현식을 미분계수와 연결하고 보간을 통해 a → 0의 극한에서 연속성을 입증한다.

실험 결과

연구 질문

• RQ1 표본 내 고유 종의 수 분포는 베이지안 비모수 방법을 통해 어떻게 특성화될 수 있는가?
• RQ2 표본 크기가 증가함에 따라 종 수 전이 확률의 배경이 되는 재귀적 구조는 무엇인가?
• RQ3 일반화된 스티어링 수 S(N,M; -1,-a,0)는 종 수의 정규화된 확률질량함수와 어떻게 관련이 있는가?
• RQ4 매개변수 a와 b는 종 분포와 그 재귀의 형태를 어떻게 결정하는가?
• RQ5 a → 0의 극한에서 종 수 분포의 부분 도수 형태는 어떻게 복원되는가?

주요 결과

• p(M_{N+1} = m)에 대한 재귀는 예측 샘플링 분포에서 유도되며, 다음 재귀식과 일치함: S_{m,a}^{N+1} = S_{m-1,a}^N + (N - m a) S_{m,a}^N.
• 일반화된 스티어링 수 S(N,M; -1,-a,0)가 포아송-디리클레 과정 하에서 정규화된 확률 p(M_N = m) 와 정확히 일치함을 증명함.
• 명시적 공식과 과정 해석을 통해 경계 조건 S_{m,a}^N = 0 (m > N) 및 S_{0,a}^N = δ_{N,0} 가 확인됨.
• a = 0의 경우 보간을 통해 M-번째 도수 형태에 해당함을 입증하여 이산형과 연속형 형태를 연결함.
• 매개변수 대체와 재귀적 매칭을 통한 엄밀한 증명을 통해 종 수 분포와 일반화된 스티어링 수 표현 간의 동치성이 확립됨.