[논문 리뷰] Combinatorial clustering and the beta negative binomial process

Tamara Broderick, Lester Mackey외 2명|arXiv (Cornell University)|2011. 11. 08.

Bayesian Methods and Mixture Models참고 문헌 41인용 수 7

한 줄 요약

이 논문은 개인이 다양한 횟수로 여러 클래스에 속할 수 있는 잠재 클래스 혼합 모델링을 위해 비모수 베이지안 사전분포로 음이 이항분포(NBP)를 도입한다. 베타분포와 NBP 간의 공액성(conjugacy)을 활용하여 저자들은 베타-음이항분포(BNBP)와 계층적 BNBP(HBNBP)를 개발하였으며, 이는 효율적인 MCMC 추론을 가능하게 하고 영상 분할 및 문서 분석에서 뛰어난 성능을 보였다. HBNBP는 LDA의 76% 대비 평균 정확도 79%를 기록하였다.

ABSTRACT

We develop a Bayesian nonparametric approach to a general family of latent class problems in which individuals can belong simultaneously to multiple classes and where each class can be exhibited multiple times by an individual. We introduce a combinatorial stochastic process known as the negative binomial process (NBP) as an infinite-dimensional prior appropriate for such problems. We show that the NBP is conjugate to the beta process, and we characterize the posterior distribution under the beta-negative binomial process (BNBP) and hierarchical models based on the BNBP (the HBNBP). We study the asymptotic properties of the BNBP and develop a three-parameter extension of the BNBP that exhibits power-law behavior. We derive MCMC algorithms for posterior inference under the HBNBP, and we present experiments using these algorithms in the domains of image segmentation, object recognition, and document analysis.

연구 동기 및 목표

• 기존 군집화 기법의 한계를 해결하기 위해 잠재 클래스 모델에서 다중 클래스 소속을 가능하게 하기 위해.
• 개인들이 여러 번 특징을 나타낼 수 있는 카운트 기반 혼합 모델을 비모수 베이지안 프레임워크로 모델링하기 위해.
• 베타 프로세스와 음이 이항분포 간의 공액성을 확립하여 무한차원 모델에서의 후행 추론이 가능하도록 하기 위해.
• HBNBP가 영상 분할 및 문서 분석과 같은 실세계 응용 분야에서 효과적임을 입증하기 위해.
• 제안된 모델의 渐近적 성질과 힘의 법칙 성질을 분석하기 위해.

제안 방법

• 혼합 모델에서 카운트 벡터를 위한 무한차원 사전분포로 음이 이항분포(NBP)를 제안한다.
• 베타 프로세스와 NBP 간의 공액성을 확립하여, 베타-음이항분포(BNBP)를 도출한다.
• BNBP를 기반으로 한 계층적 모델(HBNBP)을 개발하여 개인 간 공유되는 특징과 개인별 카운트를 동시에 허용한다.
• HBNBP 하에서 후행 추론을 위한 MCMC 알고리즘을 유도하여 확장 가능한 계산을 가능하게 한다.
• 특징 카운트의 힘의 법칙 행동을 모델링하기 위해 BNBP의 삼매개변수 확장형을 도입한다.
• 실세계 데이터셋을 사용하여 HBNBP를 영상 패치 분류 및 문서 모델링에 적용한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 모델이 변수적인 횟수로 여러 잠재 클래스에 속하는 개인을 효과적으로 혼합 형태로 표현할 수 있는가?
• RQ2 베타 프로세스와 음이 이항분포 간의 공액성이 무한차원 모델에서 후행 추론을 효율적으로 가능하게 하는가?
• RQ3 BNBP 및 그 삼매개변수 확장형의 渐진적 성질이 기존 모델 대비 힘의 법칙 행동 측면에서 어떻게 비교되는가?
• RQ4 HBNBP는 영상 분할 및 객체 인식 작업에서 LDA와 같은 전통적 모델을 능가할 수 있는가?
• RQ5 실용적 응용에서 HBNBP 모델은 하이퍼파rameter 설정에 얼마나 민감한가?

주요 결과

• HBNBP 모델은 MSRC-v1 영상 데이터베이스에서 평균 객체 클래스 정확도 79%를 기록하여 LDA의 76%를 능가하였다.
• HBNBP 모델은 하이퍼파rameter 변화에 대해 뛰어난 내성성을 보였으며, 수개의 주기수에 걸쳐 거의 일정한 성능을 유지하였다.
• BNBP의 삼매개변수 확장형은 힘의 법칙 행동을 보였으며, 무거운 尾部 특징 카운트 분포를 모델링하는 데 적합하였다.
• HBNBP는 영상 분할 및 객체 인식에서 뛰어난 성능을 보였으며, 혼동 행렬을 통해 대부분의 클래스에서 높은 정밀도를 나타내었다.
• 베타 프로세스와 NBP 간의 공액성 덕분에 효율적인 MCMC 추론이 가능하여 고차원 설정에서 확장 가능한 후행 계산을 지원하였다.
• HBNBP는 문서 분석 및 영상 분석 과제에서 토픽 모델 및 LDA의 실질적인 대안을 제공하였다.