[논문 리뷰] Priors for Random Count Matrices Derived from a Family of Negative Binomial Processes

Mingyuan Zhou, Oscar Hernán Madrid Padilla외 1명|arXiv (Cornell University)|2014. 04. 12.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 4

한 줄 요약

이 논문은 감마-포isson, 감마-음수이항, 베타-음수이항 과정을 사용하여 랜덤 카운트 행렬에 대한 비모수 베이지안 사전분포의 가족을 제안한다. 이러한 모델들은 폐쇄형 게질 샘플링을 가능하게 하고, 무한한 특징 공간을 지원하며, 어휘 사전 정의나 하이퍼파라미터 튜닝 없이도 기존 방법보다 텍스트 분류에서 뛰어난 성능을 발휘한다.

ABSTRACT

We define a family of probability distributions for random count matrices with a potentially unbounded number of rows and columns. The three distributions we consider are derived from the gamma-Poisson, gamma-negative binomial, and beta-negative binomial processes. Because the models lead to closed-form Gibbs sampling update equations, they are natural candidates for nonparametric Bayesian priors over count matrices. A key aspect of our analysis is the recognition that, although the random count matrices within the family are defined by a row-wise construction, their columns can be shown to be i.i.d. This fact is used to derive explicit formulas for drawing all the columns at once. Moreover, by analyzing these matrices' combinatorial structure, we describe how to sequentially construct a column-i.i.d. random count matrix one row at a time, and derive the predictive distribution of a new row count vector with previously unseen features. We describe the similarities and differences between the three priors, and argue that the greater flexibility of the gamma- and beta- negative binomial processes, especially their ability to model over-dispersed, heavy-tailed count data, makes these well suited to a wide variety of real-world applications. As an example of our framework, we construct a naive-Bayes text classifier to categorize a count vector to one of several existing random count matrices of different categories. The classifier supports an unbounded number of features, and unlike most existing methods, it does not require a predefined finite vocabulary to be shared by all the categories, and needs neither feature selection nor parameter tuning. Both the gamma- and beta- negative binomial processes are shown to significantly outperform the gamma-Poisson process for document categorization, with comparable performance to other state-of-the-art supervised text classification algorithms.

연구 동기 및 목표

• 잠재적으로 무한한 차원을 가진 랜덤 카운트 행렬에 대해 민감한 비모수 베이지안 사전분포가 부족한 문제를 해결한다.
• 기존에 보이지 않는 특징을 가진 새로운 행에 대한 예측 분포를 지원하는 프레임워크를 개발한다.
• 공유되는 유한한 어휘가 필요 없이 다중 카테고리에 걸쳐 카운트 행렬에 대해 확장 가능하고 병렬 처리 가능한 추론을 가능하게 한다.
• 원시적인 단어 빈도 수를 직접 사용하고 과분산 및 무거운 尾(꼬리) 분포 데이터를 처리할 수 있는 나이브 베이즈 분류기를 구축한다.
• 표준 다항 나이브 베이즈 및 기타 최첨단 모델들과 비교해 문서 분류에서 뛰어난 성능을 입증한다.

제안 방법

• 감마-포isson, 감마-음수이항, 베타-음수이항 과정에서 유도된 세 가지 확률분포를 랜덤 카운트 행렬에 적용한다.
• 유도된 행렬의 열들이 i.i.d.임을 보이며, 이는 동시 샘플링 또는 순차적 행 단위 구축을 가능하게 한다.
• 조합론적 분석을 통해 기존에 보이지 않는 특징을 포함한 새로운 행 벡터의 예측 분포를 유도한다.
• 모든 세 모델에 대해 폐쇄형 게질 샘플링 업데이트를 구현하여 효율적인 MCMC 추론을 가능하게 한다.
• 어휘 사전 정의 없이 원시적인 단어 빈도 수를 직접 사용하는 비모수 베이지안 나이브 베이즈 분류기를 구축한다.
• 프레임워크를 온라인 학습으로 확장하고, 비모수 사전분포를 통해 무한한 특징 공간을 지원한다.

실험 결과

연구 질문

• RQ1 잠재적으로 무한한 행과 열을 가진 랜덤 카운트 행렬에 대해 비모수 베이지안 사전분포를 어떻게 정의할 수 있는가?
• RQ2 카운트 행렬에서 이전에 보이지 않은 특징을 포함한 새로운 행 벡터의 예측 분포는 무엇인가?
• RQ3 과분산 및 중무거운 꼬리 분포를 가지는 카운트 데이터를 모델링할 때 감마-음수이항 과정과 베타-음수이항 과정은 감마-포isson 과정보다 어떻게 다른가?
• RQ4 어휘 사전 정의와 하이퍼파라미터 튜닝 없이도 비모수 베이지안 나이브 베이즈 분류기를 구성할 수 있는가?
• RQ5 이러한 새로운 사전분포를 사용할 경우, 라플라스 스무oothing를 적용한 표준 다항 모델과 비교해 문서 분류에서 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• 감마-음수이항 과정(GNBP)과 베타-음수이항 과정(BNBP)은 문서 분류 과제에서 감마-포isson 과정보다 뚜렷이 뛰어난 성능을 보인다.
• GNBP와 BNBP는 최첨단의 판별적 학습 기반 텍스트 분류 알고리즘과 비교해 유사한 성능을 달성한다.
• 제안된 분류기는 특징 선택이나 하이퍼파라미터 튜닝이 필요 없으며, 테스트 문서에서 이전에 보이지 않은 단어를 자연스럽게 처리할 수 있다.
• 단일 MCMC 샘플($S=1$)조차도 예측 가능도가 안정적이고 정확한 분류 결과를 제공하며, 몬테카를로 변동성이 낮다.
• 박스플롯 분석 결과, $S$를 증가시키면 변동성이 감소하지만 평균 정확도에 실질적인 향상이 없음을 확인하여, 실무에서는 작은 $S$로도 충분함을 시사한다.
• 잠재 과정에 대한 근사 및 i.i.d. 열에 대한 명시적 확률질량함수(PMF) 유도 능력 덕분에 모델은 강건하고 확장 가능한 추론이 가능하다.