[논문 리뷰] Nonparametric Bayesian Negative Binomial Factor Analysis

Mingyuan Zhou|arXiv (Cornell University)|2016. 04. 25.

Bayesian Methods and Mixture Models참고 문헌 51인용 수 6

한 줄 요약

이 논문은 과분산(count) 행렬을 모델링하기 위해 포isson 우도를 음이이항분포로 대체함으로써 자기자기흥발 및 상호흥발을 포착하는 비모수 베이지안 음이이항분포 요인 분석(NBFA)을 제안한다. 이는 계층적 감마-음이이항분포 과정(hGNBP)과 빠르고 적응형인 블록화된 지브스 샘플러를 도입하여, 포isson 기반 모델에 비해 예측 성능이 뛰어나고, 표현이 간결하며, 계산 비용이 낮음을 보여준다.

ABSTRACT

A common approach to analyze a covariate-sample count matrix, an element of which represents how many times a covariate appears in a sample, is to factorize it under the Poisson likelihood. We show its limitation in capturing the tendency for a covariate present in a sample to both repeat itself and excite related ones. To address this limitation, we construct negative binomial factor analysis (NBFA) to factorize the matrix under the negative binomial likelihood, and relate it to a Dirichlet-multinomial distribution based mixed-membership model. To support countably infinite factors, we propose the hierarchical gamma-negative binomial process. By exploiting newly proved connections between discrete distributions, we construct two blocked and a collapsed Gibbs sampler that all adaptively truncate their number of factors, and demonstrate that the blocked Gibbs sampler developed under a compound Poisson representation converges fast and has low computational complexity. Example results show that NBFA has a distinct mechanism in adjusting its number of inferred factors according to the sample lengths, and provides clear advantages in parsimonious representation, predictive power, and computational complexity over previously proposed discrete latent variable models, which either completely ignore burstiness, or model only the burstiness of the covariates but not that of the factors.

연구 동기 및 목표

• 자기자기흥발 및 상호흥발로 인해 과분산된 카운트를 모델링하는 데에 포isson 요인 분석(PFA)의 한계를 해결하기 위해.
• 계산 가능한 무한한 요인 수를 지원하는 비모수 베이지안 모델을 개발하여 카운트 행렬의 탄력적이고 적응형 분해를 가능하게 하기 위해.
• 요인 수준과 공변량 수준에서의 돌발성(burstiness)을 모델링하여 텍스트 및 카운트 데이터 분석에서 예측 성능과 계산 효율성을 향상시키기 위해.
• NBFA와 딜레트-다항 혼합멤버십 모델 간의 체계적인 연결을 제공하여 잠재적 구조의 더 풍부한 표현을 가능하게 하기 위해.

제안 방법

• PFA의 포isson 우도를 음이이항분포 우도로 대체하여 과분산된 카운트를 모델링하는 음이이항분포 요인 분석(NBFA)을 제안한다.
• NBFA와 딜레트-다항 혼합멤버십 모델 간의 이론적 연결을 수립하여, 돌발 행동을 보이는 잠재 하위집단의 관점에서의 해석을 가능하게 한다.
• NBFA에서 수능 무한한 요인 수를 지원하기 위해 비모수 사전 분포로 계층적 감마-음이이항분포 과정(hGNBP)을 도입한다.
• 복합 포아송 표현 기반의 블록화된 지브스 샘플러를 개발하여 요인 수를 적응적으로 잘라내고, 낮은 계산 복잡도로 빠른 수렴을 보장한다.
• 복합된 지브스 샘플러와 두 번째 블록 샘플러를 유도하여, 데이터 기반으로 활성 요인 수의 자동 추론이 가능하게 한다.
• hGNBP를 사용하여 샘플별 및 공변량별 과분산 비율을 모델링하여 스무딩과 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 음이이항분포 요인 분석(NBFA)이 포isson 기반 모델에 비해 공변량 빈도의 자기자기흥발 및 상호흥발을 더 잘 포착할 수 있는가?
• RQ2 비모수 사전 분포가 계산 효율성을 유지하면서도 무한한 수의 요인을 지원할 수 있는가?
• RQ3 제안된 hGNBP-NBFA 모델이 기존 이산 잠재변수 모델에 비해 더 뛰어난 예측 성능과 더 간결한 표현을 달성하는가?
• RQ4 추론된 활성 요인 수가 다양한 샘플 길이와 데이터 복잡도에 어떻게 적응하는가?

주요 결과

• NBFA는 이진 및 다중 클래스 20newsgroups 작업에서 PFA보다 분류 정확도가 뛰어나며, 정규화된 특징을 사용할 경우 comp.sys.ibm.pc.hardware 대비 comp.sys.mac.hardware 작업에서 88.0%의 정확도를 달성한다.
• NBFA에서 추론된 딜레트 스무딩 매개변수 η는 점점 증가하는 절단 수준 K에 따라 감소함을 보이며, 이는 적응형 정규화와 과분산에 대한 더 나은 처리를 의미한다.
• 복합 포아송 표현 기반의 블록 지브스 샘플러는 다른 샘플러에 비해 더 빠른 수렴 속도와 낮은 계산 복잡도를 보이며, 효율적인 추론을 가능하게 한다.
• NBFA는 샘플 길이에 따라 활성 요인 수 K⁺를 동적으로 조정함으로써 더 이상 필요하지 않은 모델 복잡도를 줄여 간결한 표현을 달성한다.
• 20newsgroups 데이터셋에서 NBFA는 저차원 특징을 사용할 경우 79.4%의 분류 정확도를 달성하여, 원본 카운트를 사용하는 로지스틱 회귀(78.0%)와 정규화된 빈도를 사용할 경우(79.4%)보다 뛰어난 성능을 보였다.
• 추론된 η와 활성 요인 수 K⁺ 사이의 관계는 로그 척도에서 감소 추세를 보이며, 이는 다양한 모델 용량에서 안정적이고 해석 가능한 정규화 역학을 의미한다.