[논문 리뷰] A constructive definition of the beta process

John Paisley, Michael I. Jordan|arXiv (Cornell University)|2016. 04. 03.

Bayesian Methods and Mixture Models참고 문헌 28인용 수 4

한 줄 요약

이 논문은 유한한 체계 근사와 포아송 과정 이론을 사용하여 베타 과정의 구성적 스틱 브레이킹 정의를 제시하며, 베타-베르누이 및 베타-음이항 과정 모델에 대한 효율적인 사후 추출을 가능하게 한다. 주요 기여는 관측된 원소와 미관측 원소를 분리하는 트렁케이션 경계 분석과 사후 추출 기법으로, 베이지안 비모수 모델에서의 확장 가능한 추론을 가능하게 한다.

ABSTRACT

We derive a construction of the beta process that allows for the atoms with significant measure to be drawn first. Our representation is based on an extension of the Sethuraman (1994) construction of the Dirichlet process, and therefore we refer to it as a stick-breaking construction. Our first proof uses a limiting case argument of finite arrays. To this end, we present a finite sieve approximation to the beta process that parallels that of Ishwaran & Zarepour (2002) and prove its convergence to the beta process. We give a second proof of the construction using Poisson process machinery. We use the Poisson process to derive almost sure truncation bounds for the construction. We conclude the paper by presenting an efficient sampling algorithm for beta-Bernoulli and beta-negative binomial process models.

연구 동기 및 목표

• 중요한 측도를 가진 원소를 먼저 추출할 수 있도록, 베타 과정에 대한 구성적 스틱 브레이킹 표현을 개발하기.
• 베타 과정에 대한 유한한 체계 근사를 제공하고, 그 수렴성을 극한에서 진짜 과정으로 증명하기.
• 포아송 과정 기법을 사용하여 스틱 브레이킹 구성에 대한 거의 확실한 트렁케이션 경계를 유도하기.
• 관측된 원소와 미관측 원소를 분리함으로써, 베타-베르누이 및 베타-음이항 과정 모델에 대한 효율적인 사후 추출을 가능하게 하기.
• 베이지안 비모수 잠재 요인 모델에서의 확장 가능한 추론을 위한 실용적 프레임워크 수립하기.

제안 방법

• 기저 측도를 이산화하고 극한의 경우를 고려한 주장으로 베타 과정으로의 수렴을 보여주는, 유한한 체계 근사를 구성한다.
• 세투라만의 딜레트 과정 구성의 확장에 의해 스틱 브레이킹 구성이 도출되며, 가중치는 베타(1, α(θ))에서 추출되고 원소는 기저 측도 μ에서 추출된다.
• 포아송 과정 이론을 사용하여 스틱 브레이킹 표현에 대한 거의 확실한 트렁케이션 경계를 유도하며, 높은 확률로 유한한 트렁케이션을 보장한다.
• 사후 추출은 사후를 관측된 원소(베타 분포를 가진 가중치)와 미관측 원소(사전의 유한한 스틱 브레이킹 구성에서 추출)로 분해함으로써 수행된다.
• 베타-베르누이 및 베타-음이항 과정 모두에서, 사후는 원소별 베타 사후와 사전의 베타 과정에서의 유한한 트렁케이션에서 추출된, 가중치가 낮은 샘플을 조합함으로써 추출된다.
• 이 방법은 사후를 관측된 원소의 유한 집합과 무한한, 계산에 유용한 미관측 성분으로 분리함으로써, 트렁케이션을 통한 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 중요한 측도를 가진 원소를 순차적으로 추출할 수 있도록, 베타 과정에 대한 구성적 스틱 브레이킹 정의를 도출할 수 있는가?
• RQ2 베타 과정에 대한 유한한 체계 근사는 극한에서 진짜 베타 과정으로 수렴하는가?
• RQ3 포아송 과정 이론을 사용하여 스틱 브레이킹 구성에 대한 거의 확실한 트렁케이션 경계를 도출할 수 있는가?
• RQ4 베타-베르누이 및 베타-음이항 과정 모델에 대한 사후 추출을 어떻게 효율적으로 수행할 수 있는가?
• RQ5 사후 분포를 관측된 성분과 미관측 성분으로 분해하여 확장 가능한 추론을 가능하게 할 수 있는가?

주요 결과

• 원소 수가 증가함에 따라, 베타 과정에 대한 유한한 체계 근사는 거의 확실하게 진짜 베타 과정으로 수렴한다.
• 베타 과정의 스틱 브레이킹 구성은 극한의 경우를 고려한 주장과 포아송 과정 기법을 사용한 두 번째 증명을 통해 증명된다.
• 스틱 브레이킹 구성에 대한 거의 확실한 트렁케이션 경계가 도출되었으며, 이는 높은 확률로 유한한 트렁케이션을 가능하게 한다.
• 베타-베르누이 과정의 사후 추출은 관측된 원소의 가중치를 베타 사후에서 추출하고, 사전의 유한한 스틱 브레이킹 구성에서 가중치가 낮은 샘플을 조합함으로써 달성된다.
• 베타-음이항 과정의 경우에도 유사한 기법이 적용되며, 관측된 원소는 베타 사후로 가중되고, 미관측 원소는 유한한 사전에서 추출된 샘플이 베타(α(θ), nr) 변량에 의해 가중치가 낮게 조정된다.
• 이 방법은 관측된 원소의 유한 집합과 계산에 유용한 미관측 성분으로 사후를 분리함으로써, 효율적이고 확장 가능한 추론을 가능하게 한다.