[논문 리뷰] Streaming Variational Inference for Bayesian Nonparametric Mixture Models

Alex Tank, Nicholas J. Foti외 1명|arXiv (Cornell University)|2014. 12. 01.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 7

한 줄 요약

이 논문은 정규화된 무작위 측도(NRMs) 기반 베이지안 비모수 혼합 모델을 위한 스트리밍 변분 추론 알고리즘을 제안하며, 대규모 스트리밍 데이터에서 효율적이고 단일 패assing 추론을 가능하게 하기 위해 가정 밀도 필터링(ADF)을 사용한다. 이 방법은 배치 MCMC 및 EP 알고리즘과 경쟁 가능한 성능을 달성하며, 특히 디리클레 과정보다 더 세밀한 클러스터 구조를 포착할 수 있는 유연한 사전 분포인 정규화된 일반화된 감마 과정(NGGP)에서 뛰어난 성능을 발휘한다.

ABSTRACT

In theory, Bayesian nonparametric (BNP) models are well suited to streaming data scenarios due to their ability to adapt model complexity with the observed data. Unfortunately, such benefits have not been fully realized in practice; existing inference algorithms are either not applicable to streaming applications or not extensible to BNP models. For the special case of Dirichlet processes, streaming inference has been considered. However, there is growing interest in more flexible BNP models building on the class of normalized random measures (NRMs). We work within this general framework and present a streaming variational inference algorithm for NRM mixture models. Our algorithm is based on assumed density filtering (ADF), leading straightforwardly to expectation propagation (EP) for large-scale batch inference as well. We demonstrate the efficacy of the algorithm on clustering documents in large, streaming text corpora.

연구 동기 및 목표

• 디리클레 과정을 초월한 베이지안 비모수(BNP) 혼합 모델을 위한 일반적인 스트리밍 추론 방법의 부족을 해결하기 위해.
• 특히 정규화된 무작위 측도(NRMs), 예를 들어 정규화된 일반화된 감마 과정(NGGP)과 같은 더 유연한 BNP 사전 분포로 스트리밍 추론을 확장하기 위해.
• 무한차원의 BNP 모델의 성질을 유지하면서도 순차적이고 메모리 효율적인 업데이트를 가능하게 하는 변분 추론 프레임워크를 개발하기 위해.
• 배치 방법이 불가능한 대규모 실세계 스트리밍 텍스트 데이터에서 이 방법의 효과성을 입증하기 위해.
• 유연한 NRM 사전 분포(예: NGGP)가 더 세밀한 클러스터 구조를 포착함으로써 예측 성능을 향상시키는지 확인하기 위해.

제안 방법

• 이 방법은 과거 데이터의 요약 통계자료만을 사용하여, 스트리밍 방식으로 후행 분포의 변분 근사값을 반복적으로 업데이트하기 위해 가정 밀도 필터링(ADF)을 사용한다.
• 일반적인 NRM 예측 분포를 다루기 위해 보조 변수 표현을 활용함으로써, 모델에 특화된 근사화가 필요 없이도 추론을 가능하게 한다.
• NRM 기반 혼합 모델의 핵심이 되는 부분 우르무 예측 분포의 근사치를 계산한다.
• ADF 프레임워크는 데이터를 반복적으로 순환할 수 있는 다중 패assing 기반의 기대치 기반 추론(EP) 변종으로 자연스럽게 확장되며, 데이터 접근이 가능한 경우 높은 정확도의 결과를 도출할 수 있다.
• 이 방법은 일반적이며, 특별히 디리클레 과정에 적용할 경우 이전의 스트리밍 알고리즘으로 축소된다.
• 이 방법은 디리클레 과정(DP)보다 클러스터 크기 분포에 더 큰 제어력을 제공하는 정규화된 일반화된 감마 과정(NGGP)과 같은 더 유연한 NRM 사전 분포를 지원한다.

실험 결과

연구 질문

• RQ1 디리클레 과정을 초월한 베이지안 비모수 혼합 모델을 위한 일반적인 스트리밍 변분 추론 알고리즘을 개발할 수 있는가?
• RQ2 정규화된 무작위 측도(NRM) 사전 분포의 무한차원적 성질을 스트리밍 추론 환경에서 어떻게 유지할 수 있는가?
• RQ3 정규화된 일반화된 감마 과정(NGGP)과 같은 더 유연한 NRM 사전 분포를 사용할 경우, 디리클레 과정에 비해 대규모 스트리밍 데이터에서 예측 성능이 향상되는가?
• RQ4 단일 패assing 스트리밍 알고리즘이 계산 비용이 높은 배치 방법(예: 기브스 샘플링 또는 EP)과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 클러스터 크기의 유연성은 대규모 텍스트 코퍼스에서 미세한 잠재적 구조를 모델링하는 데 어떤 영향을 미치는가?

주요 결과

• ADF-NRM 알고리즘은 데이터를 단 한 번만 순환하는 것으로, 215번 반복하는 배치 기브스 샘플러와 거의 동일한 예측 로그우도 성능을 달성한다.
• 10,000건의 문서로 구성된 KOS 코퍼스에서, NGGP 사전 분포를 사용한 ADF-NRM은 -1.48의 예측 로그우도를 기록했으며, DP 기반 ADF-NRM을 능가하고 다중 패assing EP-NRM의 성능에 근접했다.
• 30만 건의 뉴욕타임스 코퍼스에서, NGGP 사전 분포를 사용한 ADF-NRM은 DP 대비 약 10개의 추가적인 소규모 클러스터를 도입하여 예측 로그우도를 향상시키고 더 세밀한 주제를 포착했다.
• 다중 패assing EP-NRM 변종은 기브스 샘플링과 유사한 성능을 달성했으며, 대부분의 성능 향상은 첫 번째 패assing에서 발생하여 강력한 수렴 성질을 보였다.
• NGGP 사전 분포를 사용한 ADF-NRM에서 복원된 주요 주제들은 해석 가능했으며 '정치'와 '스포츠'와 같은 의미적으로 일관된 테마에 해당하여, 모델이 의미적으로 일관된 구조를 추출할 수 있음을 검증했다.
• EP-NRM 변종는 ADF 프레임워크가 다중 패assing 추론으로 확장될 수 있으며, 데이터 접근이 가능한 환경에서는 고정밀도 결과를 도출할 수 있음을 보여주었다.