[논문 리뷰] The continuum-of-urns scheme, generalized beta and Indian buffet processes, and hierarchies thereof

Daniel M. Roy|arXiv (Cornell University)|2014. 12. 31.

Bayesian Methods and Mixture Models참고 문헌 21인용 수 9

한 줄 요약

이 논문은 교환가능한 베르누이 과정의 시퀀스를 측정 가능한 딜레트 및 피트만–요르 과정의 가족을 통해 모델링하는 연속적 우산(scheme)을 소개한다. 이는 인디안 뷔페 과정(IBP)을 일반화하는 스토케스틱 프로세스로, 두 매개변수 토포로지의 호프 우산(scheme)과 블랙웰–맥퀸 연속적 우산(scheme)의 예측 규칙를 수립한다. 이는 삼매개변수 IBP의 계층적 확장과 계층적 안정 베타 과정의 표준 구축을 이끈다.

ABSTRACT

We describe the combinatorial stochastic process underlying a sequence of conditionally independent Bernoulli processes with a shared beta process hazard measure. As shown by Thibaux and Jordan [TJ07], in the special case when the underlying beta process has a constant concentration function and a finite and nonatomic mean, the combinatorial structure is that of the Indian buffet process (IBP) introduced by Griffiths and Ghahramani [GG05]. By reinterpreting the beta process introduced by Hjort [Hjo90] as a measurable family of Dirichlet processes, we obtain a simple predictive rule for the general case, which can be thought of as a continuum of Blackwell-MacQueen urn schemes (or equivalently, one-parameter Hoppe urn schemes). The corresponding measurable family of Perman-Pitman-Yor processes leads to a continuum of two-parameter Hoppe urn schemes, whose ordinary component is the three-parameter IBP introduced by Teh and Görür [TG09], which exhibits power-law behavior, as further studied by Broderick, Jordan, and Pitman [BJP12]. The idea extends to arbitrary measurable families of exchangeable partition probability functions and gives rise to generalizations of the beta process with matching buffet processes. Finally, in the same way that hierarchies of Dirichlet processes were given Chinese restaurant franchise representations by Teh, Jordan, Beal, and Blei [Teh+06], one can construct representations of sequences of Bernoulli processes directed by hierarchies of beta processes (and their generalizations) using the stochastic process we uncover.

연구 동기 및 목표

• 공통의 위험 측도를 갖는 교환가능한 베르누이 과정 시퀀스를 위한 통합된 스토케스틱 프로세스 프레임워크를 개발하기 위해.
• 베타 과정의 계층에 대한 우산(scheme)이 부족한 문제를 해결하기 위해, 베타 과정을 측정 가능한 딜레트 과정의 가족으로 재해석함으로써.
• 인디안 뷔페 과정을 이중 매개변수 호프 우산(scheme)의 연속체로 일반화하여, 힘의 법칙 행동과 계층적 확장을 가능하게 하기 위해.
• 계층적 베타 과정의 차이나 레스토랑 프랜차이즈 스타일 표현을 위한 이론적 기반을 마련하기 위해.
• 위험 측도의 강한 수렴에 따라 이산 우산 모델이 연속적 우산(scheme)으로 수렴하는 것을 확립하기 위해.

제안 방법

• 측정 가능한 딜레트 과정의 가족으로서의 베타 과정을 재해석하여 연속적 블랙웰–맥퀸 우산(scheme)에 대한 예측 규칙를 유도한다.
• 교환 가능한 분할 확률 함수(EPPFs)를 사용하여 무작위 집합의 조합 구조와 기능 할당을 모델링한다.
• 피트만–요르 과정을 측정 가능한 무작위 조건수의 가족으로 적용하여 이중 매개변수 호프 우산(scheme)의 연속체를 생성한다.
• 독립적인 증분을 갖는 완전 무작위 조건수를 사용하여 위험 측도를 모델링하고, 베르누이 과정의 조건부 독립성을 확보한다.
• 포아송 과정과 강도 측도의 수렴을 통해 이산 우산 모델의 약한 수렴을 연속 극한으로 증명한다.
• 이동 증명과 칼렌베르크의 무작위 조건수 프레임워크를 활용하여, 이론적 수렴의 분포 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 삼매개변수의 경우를 초월하여 인디안 뷔페 과정을 일반화할 수 있는 연속적 우산(scheme)을 어떻게 구성할 수 있는가?
• RQ2 공통의 베타 과정 위험 측도를 갖는 조건부 독립적 베르누이 과정의 시퀀스에 대한 예측 분포는 무엇인가?
• RQ3 측정 가능한 피트만–요르 과정의 가족을 사용하여 인디안 뷔페 과정의 계층적 확장을 어떻게 정의할 수 있는가?
• RQ4 이산 우산 모델이 연속적 우산(scheme)으로 수렴하기 위한 조건은 무엇인가?
• RQ5 이중 매개변수 호프 우산(scheme)에서 계층적 안정 베타 과정의 표준 정의를 유도할 수 있는가?

주요 결과

• 연속적 우산(scheme)은 측정 가능한 딜레트 과정의 가족에 의해 이끌리는 교환가능한 베르누이 과정의 시퀀스에 대한 예측 규칙를 제공한다.
• 이 스킴은 삼매개변수 IBP가 특수한 경우가 되는, 한 매개변수 및 이중 매개변수 호프 우산(scheme)의 연속체로 인디안 뷔페 과정을 일반화한다.
• 위험 측도의 강한 수렴에 따라 이산 모델의 극한 분포가 법적으로 연속적 우산(scheme)으로 수렴하며, 이는 포아송 과정 강도의 수렴을 통해 증명된다.
• 이 프레임워크는 측정 가능한 피트만–요르 과정의 가족을 통해 계층적 안정 베타 과정의 표준 구축을 지원한다.
• 이 방법은 이전의 딜레트 과정 계층에 대한 연구를 확장하여, 계층적 베타 과정에 대한 차이나 레스토랑 프랜차이즈 스타일 표현을 가능하게 한다.
• 약한 수렴의 경우 증명이 실패함을 보여주는 반례를 통해, 위험 측도의 약한 수렴이 유도된 점 과정의 수렴을 보장하지는 않음을 밝혔다.