[논문 리뷰] Beta-Negative Binomial Process and Exchangeable Random Partitions for Mixed-Membership Modeling

Mingyuan Zhou|arXiv (Cornell University)|2014. 10. 28.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 14

한 줄 요약

이 논문은 혼합 구성 모델링을 위한 비모수 베이지안 사전분포로 베타-음수이항분포(BNBP)를 제안하며, 완전히 축약된 게브스 추론을 가능하게 하기 위해 교환가능분할확률함수(EPPF)를 유도한다. 이 방법은 무한차원 베타과정과 주제 가중치를 해석적으로 적분하여 제거함으로써 주제 모델링에서 최신 기술 수준의 예측 성능을 달성하면서도 빠르고 잘 혼합되는 샘플링을 가능하게 한다.

ABSTRACT

The beta-negative binomial process (BNBP), an integer-valued stochastic process, is employed to partition a count vector into a latent random count matrix. As the marginal probability distribution of the BNBP that governs the exchangeable random partitions of grouped data has not yet been developed, current inference for the BNBP has to truncate the number of atoms of the beta process. This paper introduces an exchangeable partition probability function to explicitly describe how the BNBP clusters the data points of each group into a random number of exchangeable partitions, which are shared across all the groups. A fully collapsed Gibbs sampler is developed for the BNBP, leading to a novel nonparametric Bayesian topic model that is distinct from existing ones, with simple implementation, fast convergence, good mixing, and state-of-the-art predictive performance.

연구 동기 및 목표

• 혼합 구성 모델링을 위한 통합적 비모수 베이지안 프레임워크를 개발하여, 단일 그룹 클러스터링을 초월해 교환가능분할확률함수(EPPF)를 확장한다.
• 그룹화된 데이터 간의 교환가능한 랜덤 분할을 규정하는 BNBP의 주변분포를 도출하여 완전히 축약된 추론을 가능하게 한다.
• 베타과정과 무한차원 주제 가중치를 해석적으로 제거하는 새로운 주제 모델을 구축한다.
• 닫힌형 업데이트 식을 갖춘 빠르게 수렴하고 잘 혼합되는 게브스 샘플러를 제공한다.

제안 방법

• 그룹 크기를 랜덤화하고 베이즈 정리로 적용하여, 그룹화된 데이터에 대한 EPPF를 도출하기 위해 BNBP의 교환가능클러스터확률함수(ECPF)를 유도한다.
• 그룹 크기와 클러스터 할당의 결합분포를 모델링하기 위해 포아송 및 딜리클-다항 혼합의 계층적 구조를 사용한다.
• 팜 공식을 적용하여 베타과정을 주변화함으로써, 클러스터 크기와 그룹 수에만 의존하는 유한차원 사후분포를 도출한다.
• 베타과정, 주제 가중치, 무한차원 매개변수를 해석적으로 통합하여 완전히 축약된 게브스 샘플러를 개발한다.
• 모델 매개변수의 닫힌형 조건부 사후분포를 도출하기 위해 음수이항분포에 대한 데이터 증강 및 주변화 기법을 활용한다.
• 해석적으로 얻을 수 없는 형태이므로, 농도 매개변수 c에 대해 1/(1+c) = 0.01에서 0.99까지의 이산 격자에 기반한 그리드-게브스 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 베타-음수이항분포(BNBP)는 그룹화된 혼합 구성 데이터에 대해 적절한 교환가능분할확률함수(EPPF)를 정의할 수 있는가?
• RQ2 유도된 EPPF는 베타과정의 원자 수를 잘라내지 않고도 완전히 축약된 게브스 추론을 가능하게 하는가?
• RQ3 BNBP는 빠른 수렴, 양호한 혼합성 및 기존 모델 대비 뛰어난 예측 성능를 갖춘 비모수 주제 모델을 지원할 수 있는가?
• RQ4 BNBP의 EPPF는 기존 EPPF와 비교해 그룹 크기와 클러스터 구조에 대해 어떻게 다를까?
• RQ5 농도 매개변수 c를 포함한 BNBP 모델 매개변수의 닫힌형 조건부 사후분포는 무엇인가?

주요 결과

• BNBP의 EPPF는 먼저 그룹 크기를 i.i.d. 카운트 벡터의 포아송 합으로 모델링한 후 크기 벡터에 대해 주변화함으로써 베이즈 정리로 유도된다.
• 유도된 EPPF는 각 행의 합이 해당 그룹 크기와 일치하는 잠재적 열교환가능한 랜덤 카운트 행렬의 사전분포를 명시적으로 묘사한다.
• 완전히 축약된 게브스 샘플러는 베타과정, 주제 가중치, 무한차원 매개변수를 해석적으로 통합하여 빠른 수렴과 양호한 혼합성을 이끈다.
• BNBP 주제 모델은 압축된 코퍼스 표현을 통해 최신 기술 수준의 예측 성능를 달성하며, 기존 비모수 주제 모델을 능가한다.
• 농도 매개변수 c를 제외한 모든 매개변수에 대해 닫힌형 업데이트 식이 도출되었으며, c는 이산 격자 위에서 그리드-게브스 샘플링을 통해 추출된다.
• BNBP의 예측 규칙는 유도된 EPPF에 의해 규제되는 교환가능한 랜덤 분할을 시뮬레이션할 수 있게 하여 혼합 구성 설정에서 효율적인 추론을 가능하게 한다.