[논문 리뷰] The nested Chinese restaurant process and Bayesian inference of topic hierarchies

David M. Blei, Thomas L. Griffiths외 1명|arXiv (Cornell University)|2007. 10. 03.

Bayesian Methods and Mixture Models참고 문헌 64인용 수 7

한 줄 요약

이 논문은 문서 컬렉션에서 무한히 깊고 분기하는 토픽 계층을 학습하기 위한 베이지안 비모수 prior로 통합된 중국식 레스토랑 과정(nCRP)을 제안한다. 문서를 무작위 트리 위의 경로로 모델링함으로써 nCRP는 선호적 첨부(preferential attachment)를 통해 계층적 토픽 클러스터링을 가능하게 하며, 제안된 추론 알고리즘은 트리, 토픽, 단어 할당에 대한 사후분포를 근사한다. 이는 과학적 초록들에 대한 효과성을 입증한다.

ABSTRACT

ABSTRACT. We present the nested Chinese restaurant process (nCRP), a stochastic process which assigns probability distributions to infinitelydeep, infinitely-branching trees. We show how this stochastic process can be used as a prior distribution in a Bayesian nonparametric model of document collections. Specifically, we present an application to information retrieval in which documents are modeled as paths down a random tree, and the preferential attachment dynamics of the nCRP leads to clustering of documents according to sharing of topics at multiple levels of abstraction. Given a corpus of documents, a posterior inference algorithm finds an approximation to a posterior distribution over trees, topics and allocations of words to levels of the tree. We demonstrate this algorithm on collections of scientific abstracts from several journals. This model exemplifies a recent trend in statistical machine learning—the use of Bayesian nonparametric methods to infer distributions on flexible data structures. 1.

연구 동기 및 목표

• 문서 컬렉션에서 무한히 깊고 분기하는 토픽 계층을 모델링하기 위한 유연한 비모수 prior를 개발하기 위해.
• 사전에 주어진 토픽 수나 계층 깊이를 설정하지 않고도 트리 구조, 토픽, 단어 할당에 대한 베이지안 추론을 가능하게 하기 위해.
• nCRP의 선호적 첨부 다이내믹스를 활용하여 다중 수준의 토픽 클러스터링을 지원하기 위해.
• 과학적 초록들에 대한 실증 평가를 통해 모델의 정보 검색 활용 가능성을 입증하기 위해.

제안 방법

• 무한히 깊고 무한히 분기하는 트리에 대한 prior로 통합된 중국식 레스토랑 과정(nCRP)을 사용하여 토픽 계층을 모델링한다.
• 문서는 서로 다른 추상화 수준의 노드에 할당된 단어를 포함하는 트리 위의 경로로 표현된다.
• 스토케스틱 샘플링을 사용하여 트리 구조, 토픽, 단어-토픽 할당에 대한 결합 사후분포를 근사하는 추론 알고리즘을 적용한다.
• nCRP의 선호적 첨부 메커니즘은 계층의 여러 수준에서 공통 토픽을 공유하는 문서들을 자연스럽게 클러스터링한다.
• 사전에 토픽 수나 트리 깊이를 설정하지 않아 비모수 추론이 가능하다.
• 추론 절차는 과학적 초록들에 적용되어 확장성과 계층적 클러스터링 성능을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 비모수 prior를 설계하여 문서 컬렉션에서 무한히 깊고 분기하는 토픽 계층을 모델링할 수 있는가?
• RQ2 nCRP는 선호적 첨부 다이내믹스를 통해 효과적인 다중 수준의 토픽 클러스터링을 지원할 수 있는가?
• RQ3 제안된 추론 알고리즘이 트리 구조와 토픽 할당에 대한 사후분포를 얼마나 잘 근사하는가?
• RQ4 모델은 다양한 추상화 수준에서 공통 토픽을 공유하는 문서들을 클러스터링하는 데 얼마나 잘 성능을 내는가?

주요 결과

• nCRP는 사전에 깊이나 분기 수를 설정하지 않고도 무한히 깊고 분기하는 토픽 계층을 성공적으로 모델링하여 데이터 기반의 구조 학습이 가능하다.
• 모델은 다양한 추상화 수준에서 공통 토픽을 공유하는 문서들을 클러스터링하여 계층적 주제 조직을 반영한다.
• 추론 알고리즘이 트리, 토픽, 단어 할당에 대한 사후분포를 효과적으로 근사한다.
• 과학적 초록들에 대한 실증 결과는 모델이 의미 있고 해석 가능한 토픽 계층을 발견할 수 있음을 입증한다.