[논문 리뷰] The nested Chinese restaurant process and hierarchical topic models

David M. Blei, Thomas L. Griffiths외 1명|arXiv (Cornell University)|2007. 10. 03.

Bayesian Methods and Mixture Models인용 수 6

한 줄 요약

이 논문은 문서 컬렉션에서 무한히 깊고 분기하는 주제 계층을 모델링하기 위한 비모수 베이지안 사전분포인 네스티드 차이나 이브닝 레스토랑 프로세스(nCRP)를 소개한다. nCRP의 선호성 부착 동역학을 활용하여 다수의 추상화 수준에서 문서를 군집화하고, 사후 추론 알고리즘이 효율적으로 주제 트리, 주제, 단어 할당을 발견함으로써 과학 초록 컬렉션에서 뛰어난 성능을 보여준다.

ABSTRACT

We present the nested Chinese restaurant process (nCRP), a stochastic process which assigns probability distributions to infinitelydeep, infinitely-branching trees. We show how this stochastic process can be used as a prior distribution in a nonparametric Bayesian model of document collections. Specifically, we present an application to information retrieval in which documents are modeled as paths down a random tree, and the preferential attachment dynamics of the nCRP leads to clustering of documents according to sharing of topics at multiple levels of abstraction. Given a corpus of documents, a posterior inference algorithm finds an approximation to a posterior distribution over trees, topics and allocations of words to levels of the tree. We demonstrate this algorithm on several collections of scientific abstracts. This model exemplifies a recent trend in statistical machine learning—the use of nonparametric Bayesian methods to infer distributions on flexible data structures.

연구 동기 및 목표

• 무한한 깊이와 분기 수를 가진 문서 컬렉션의 계층적 주제 구조를 모델링하기 위한 유연하고 비모수적 사전분포를 개발한다.
• 사전에 주제 수나 트리 구조를 정하지 않고도 다수의 추상화 수준에서 주제 계층을 자동으로 탐지할 수 있도록 한다.
• 문서를 랜덤 트리의 루트에서 리프 노드까지의 경로로 표현하는 생성 모델을 제공하여 다양한 수준에서 주제 공유를 포착한다.
• 트리 구조, 주제, 단어-주제 할당의 공동 분포를 근사하는 사후 추론 알고리즘을 설계한다.
• 실세계 과학 초록 컬렉션에서 모델을 평가하여 의미 있는 계층적 주제 구조를 드러내는 능력을 입증한다.

제안 방법

• 무한히 깊고 무한히 분기하는 트리에 확률 분포를 할당하는 스토케스틱 프로세스로 네스티드 차이나 이브닝 레스토랑 프로세스(nCRP)를 제안한다.
• 각 노드가 주제를 나타내는 트리 구조에 대해 nCRP를 사전분포로 사용하며, 문서는 루트에서 리프 노드까지의 경로로 생성된다.
• nCRP에 선호성 부착 동역학을 적용하여 기존 주제나 분기와 유사한 새로운 주제나 분기를 추가하는 것을 선호함으로써 계층적 군집화를 가능하게 한다.
• 변분 추론 또는 깁스 샘플링을 사용하여 트리 구조, 주제, 단어-주제 할당의 공동 사후분포를 근사하는 사후 추론 알고리즘을 개발한다.
• 문서를 트리 내 경로를 따라 이어지는 주제의 시퀀스로 모델링하고, 각 노드에서의 주제에 조건부로 단어를 생성한다.
• 비모수 베이지안 프레임워크를 활용하여 주제 수와 트리 깊이가 데이터에 따라 증가하도록 하여 고정된 모델 복잡도를 피한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 모델이 주제 수나 트리 깊이를 사전에 정하지 않고도 자동으로 계층적 주제 구조를 추론할 수 있는가?
• RQ2 네스티드 차이나 이브닝 레스토랑 프로세스는 문서 컬렉션에서 다수 수준의 주제 군집을 얼마나 잘 포착하는가?
• RQ3 모델이 문서를 트리 내 경로로 효과적으로 표현하면서도 주제 계층에 대한 효율적인 사후 추론을 가능하게 하는가?
• RQ4 실제 과학 초록 데이터셋에서 의미 있고 해석 가능한 주제 계층을 탐지하는 데 모델의 성능은 어떠한가?
• RQ5 nCRP의 선호성 부착 메커니즘이 일관되고 층상의 주제 구조가 나타나는 데 어떻게 기여하는가?

주요 결과

• nCRP는 무한히 깊고 분기하는 주제 계층을 성공적으로 모델링하여 고정된 구조적 제약 없이 문서 컬렉션을 다소 자유롭게 표현할 수 있다.
• 모델은 다양한 수준의 추상화에서 공유 주제를 기반으로 문서가 군집되는 계층적 주제 구조를 탐지한다.
• 사후 추론 알고리즘이 트리 구조, 주제, 단어 할당의 공동 분포를 효과적으로 근사하여 확장 가능한 학습을 가능하게 한다.
• 과학 초록 컬렉션에 대한 실증 평가에서 모델은 실제 세계의 주제 관계를 반영하는 일관되고 해석 가능한 주제 계층을 드러낸다.
• nCRP의 선호성 부착 메커니즘은 다양한 정도의 정밀도에서 주제를 공유하는 문서들이 자연스럽게 군집되도록 한다.
• 비모수적 성격 덕분에 모델은 데이터의 복잡도에 맞게 적응하여 과도한 오버피팅 없이 필요한 만큼 주제 트리를 확장할 수 있다.