[논문 리뷰] Stick-breaking PG(\alpha,\zeta)-Generalized Gamma Processes

Lancelot F. James|arXiv (Cornell University)|2013. 08. 29.

Bayesian Methods and Mixture Models참고 문헌 56인용 수 12

한 줄 요약

이 논문은 두 파라미터를 가진 포isson-디리클레(PD(𝛼,𝜃)) 및 일반화된 가우시안(γ) 과정을 통합하고 일반화한 확장된 포아송-디리클레 일반화된 가우시안(EPG(𝛼,𝜁)) 과정을 도입한다. 이 과정은 𝛼 ∈ [0,1) 및 일반적인 𝜁에 대해 전체 파라미터 범위에서 명시적이고 다루기 쉬운 스틱 브레이킹 표현을 제공하며, 베이지안 비모수 통계 및 머신러닝 분야에서 새로운 모델 개발을 가능하게 한다.

ABSTRACT

This work centers around results related to Proposition 21 of Pitman and Yor's (1997) paper on the two parameter Poisson Dirichlet distribution indexed by (\\alpha,\ heta) for 0<\\alpha<1, also \\alpha=0, and \ heta>-\\alpha, denoted PD(\\alpha,\ heta). We develop explicit stick-breaking representations for a class that contains the PD(\\alpha,\ heta) for the range \ heta=0, and \ heta>0, we call PG(\\alpha,\\zeta). We also construct a larger class, EPG(\\alpha,\\zeta), containing the entire range. These classes are indexed by \\alpha, and an arbitrary non-negative random variable \\zeta. The bulk of this work focuses on investigating various properties of this larger class, EPG(\\alpha,\\zeta), which lead to connections to other work in the literature. In particular, we develop completely explicit stick-breaking representations for this entire class via size biased sampling as described in Perman, Pitman and Yor (1992). This represents the first case outside of the PD(\\alpha,\ heta) where one obtains explicit results for the entire range of \\alpha, the EPG are within the larger class of mass partitions generated by conditioning on the total mass of an \\alpha-stable subordinator. Furthermore Markov chains are derived which establish links between Markov chains derived from stick-breaking(insertion/deletion), as described in Perman, Pitman and Yor and Markov chains derived from successive usage of dual coagulation fragmentation operators described in Bertoin and Goldschmidt and Dong, Goldschmidt and Martin. Which have connections to certain types of fragmentation trees and coalescents appearing in the recent literature. Our results are also suggestive of new models and tools, for applications in Bayesian Nonparametrics/Machine Learning, where PD(\\alpha,\ heta) bridges are often referred to as Pitman-Yor processes.

연구 동기 및 목표

• 포아송-디리클레 과정과 일반화된 가우시안 과정을 더 넓은 범위의 EPG(𝛼,𝜁) 클래스로 통합하고 일반화하여 모델링의 유연성을 향상시키는 것.
• 모든 파라미터 𝛼 ∈ [0,1) 및 일반적인 비음수 랜덤 변수 𝜁에 대해 유효한 다루기 쉬운 스틱 브레이킹 표현을 개발하는 것.
• 교환 가능한 랜덤 분할에서 스틱 브레이킹, 응집-분열 역학, 그리고 마코프 체인 간의 관계를 설정하는 것.
• 𝜁가 긴 꼬리(heavy tails)를 가지는 경우에 EPG(𝛼,𝜁)가 PD(𝛼,𝜃)보다 유리한 조건을 규명하는 것.
• 특히 파워 라우 법 현상에 대해 새로운 모델을 구축할 수 있는 기반을 마련하여, 베이지안 비모수 통계 및 머신러닝 분야에 기여하는 것.

제안 방법

• 고정된 시간이나 감마 분포를 가진 시간 대신 일반적인 랜덤 시간 𝜁를 사용하여 측도를 변화시켜 PG(𝛼,𝜁) 과정을 확장함으로써 EPG(𝛼,𝜁) 과정을 구성한다.
• 독립적인 베타 분포 Beta(1−𝛼, 𝜃 + k𝛼)를 갖는 랜덤 변수의 수열을 사용하여 순서화된 가중치 (P_i)의 크기 편향 표본 표현을 유도한다.
• 안정적인 서브디레이터의 정규화된 점프와 조건부 분포 R_k = P_{k+1}/P_k 를 연결함으로써 EPG(𝛼,𝜁)에 대한 스틱 브레이킹 표현을 수립한다. 이때 Δ_1^−𝛼 = 𝜁 이다.
• joint 분포 (∆_{k+1}/∆_1) = ∏_{l=1}^k R_l 를 사용하여 Lévy 밀도 𝛼𝜁 u^{−𝛼−1}𝕀_{u≤1} 를 갖는 서브디레이터를 정의함으로써 곱셈형 서브디레이터를 구성한다.
• 스틱 브레이킹과 이중 응집-분열 연산자로부터 유도된 마코프 체인 간의 이중성(duality)을 이용하여, 분할 과정에서의 이 두 역학 간의 연결 고리를 설정한다.
• Poisson 도착 시간과 스틱 브레이킹 가중치로부터 유도된 중립성(neutral-to-the-right) 과정인 Σ_{𝛼,𝜁}(t) 를 포함하는 공동 과정 (Q_{𝛼,𝜁}, Σ_{𝛼,𝜁}) 을 구성한다.

실험 결과

연구 질문

• RQ1 표준 PD(0,𝜃) 및 PD(𝛼,0) 경우를 초월하여 PD(𝛼,𝜃) 과정의 전체 파라미터 범위에 대해 통합된 스틱 브레이킹 표현을 유도할 수 있는가?
• RQ2 임의의 랜덤 시간 𝜁 를 갖는 일반화된 가우시안 서브디레이터를 사용하여 더 넓은 범위의 포아송-킹먼 모델을 구성할 수 있는가?
• RQ3 교환 가능한 랜덤 분할에서 스틱 브레이킹 과정과 응집-분열 역학 간의 관계는 무엇인가?
• RQ4 𝜁가 긴 꼬리를 가지는 경우에 EPG(𝛼,𝜁) 모델이 PD(𝛼,𝜃) 모델보다 엄밀히 유리한 응용 분야는 무엇인가?
• RQ5 EPG(𝛼,𝜁) 프레임워크가 인디안 버파리 프로세스나 프래그멘터러와 같은 새로운 구성 요소를 지원할 수 있는가?

주요 결과

• 이 논문은 안정적인 서브디레이터에 의해 생성된 포아송-킹먼 모델에 대해 𝛼 ∈ [0,1) 전역에서 최초로 명시적인 스틱 브레이킹 표현을 제공하며, PD(𝛼,𝜃)의 경우를 초월한다.
• EPG(𝛼,𝜁) 클래스는 𝜃 > −𝛼 전역에서 PD(𝛼,𝜃)를 포함하고, 𝜁 가 고정되어 있을 경우 PG(𝛼,𝜁)를 포함하여 여러 알려진 과정을 통합한다.
• 조건부 분포의 동치성(identity)을 확립한다: (R_k) = (Δ_{k+1}/Δ_k | Δ_1^{−𝛼} = 𝜁) ∼ Beta(1−𝛼, 𝜃 + k𝛼)로서, 안정적인 서브디레이터의 정규화된 점프와 스틱 브레이킹 가중치를 연결한다.
• 과정 Σ_{𝛼,𝜁}(t) = ∑_{k=1}^∞ ∏_{l=1}^k R_l 𝕀_{𝜏_k ≤ t} 는 Lévy 밀도 𝛼𝜁 u^{−𝛼−1}𝕀_{u≤1} 를 갖는 곱셈형 서브디레이터이며, 중립성(neutral-to-the-right) 과정을 이룬다.
• 스틱 브레이킹에서 유도된 마코프 체인과 응집-분열 연산자에서 유도된 마코프 체인이 서로 이중성을 가지며, 교환 가능한 분할에서 이러한 역학 간의 새로운 연결 고리를 설정한다.
• 𝜁가 긴 꼬리를 가지는 경우 EPG(𝛼,𝜁)가 PD(𝛼,𝜃)보다 유리하다는 것이 프레임워크를 통해 제안되며, 언어 모델링에서 관찰되는 파워 라우 법 현상과 같은 응용에서 Goldwater 등(2009)의 통찰을 확장한다.