[論文レビュー] The nested Chinese restaurant process and Bayesian inference of topic hierarchies

David M. Blei, Thomas L. Griffiths+1 more|arXiv (Cornell University)|Oct 3, 2007

Bayesian Methods and Mixture Models参考文献 64被引用数 7

ひとこと要約

本稿では、文書コレクションにおける無限に深いおよび分岐するトピック階層を学習するためのベイジアン非パラメトリック事前分布として、ネストド・チャイニーズレストラン過程（nCRP）を提案する。文書をランダムな木構造を通るパスとしてモデル化することで、nCRPは優先的アタッチメントを介して階層的トピッククラスタリングを可能にし、提案された推論アルゴリズムは木構造、トピック、語の割り当ての後方分布を近似する。科学的要約のデータに対して有効性が示された。

ABSTRACT

ABSTRACT. We present the nested Chinese restaurant process (nCRP), a stochastic process which assigns probability distributions to infinitelydeep, infinitely-branching trees. We show how this stochastic process can be used as a prior distribution in a Bayesian nonparametric model of document collections. Specifically, we present an application to information retrieval in which documents are modeled as paths down a random tree, and the preferential attachment dynamics of the nCRP leads to clustering of documents according to sharing of topics at multiple levels of abstraction. Given a corpus of documents, a posterior inference algorithm finds an approximation to a posterior distribution over trees, topics and allocations of words to levels of the tree. We demonstrate this algorithm on collections of scientific abstracts from several journals. This model exemplifies a recent trend in statistical machine learning—the use of Bayesian nonparametric methods to infer distributions on flexible data structures. 1.

研究の動機と目的

• 文書コレクションにおける無限に深いおよび分岐するトピック階層を柔軟にモデリングするための非パラメトリック事前分布の開発。
• トピック数や階層の深さを事前に指定せずに、木構造、トピック、語の割り当ての上でのベイジアン推論を可能にすること。
• nCRPの優先的アタッチメントダイナミクスを活用して、複数レベルの抽象度で共通するトピックを持つ文書のマルチレベルクラスタリングを支援すること。
• 科学的要約のデータに対して実証的評価を実施し、情報検索におけるモデルの有効性を示すこと。

提案手法

• 無限に深いおよび無限に分岐する木構造の上に、トピック階層をモデリングするための事前分布としてネストド・チャイニーズレストラン過程（nCRP）を用いる。
• 文書は、抽象度の異なるレベルのノードに語が割り当てられる木構造上のパスとして表現される。
• ステートスティック・サブミッションを用いて、木構造、トピック、語-トピック割り当ての同時後方分布を近似する推論アルゴリズムを適用する。
• nCRPの優先的アタッチメントメカニズムにより、階層の複数レベルで共通するトピックを持つ文書が自然にクラスタリングされる。
• トピック数や木の深さを事前に指定しないことで、非パラメトリック推論が可能になる。
• スケーラビリティと階層的クラスタリングの有効性を示すために、推論手順を科学的要約に適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、文書コレクションにおける無限に深いおよび分岐するトピック階層をモデリングできる非パラメトリック事前分布を設計できるか？
• RQ2 nCRPは、優先的アタッチメントダイナミクスを活用して、効果的なマルチレベルトピッククラスタリングを可能にするか？
• RQ3 提案された推論アルゴリズムは、木構造およびトピック割り当ての後方分布をどの程度正確に近似できるか？
• RQ4 モデルは、異なる抽象度レベルでの共通トピックに基づいて文書をクラスタリングする際に、どの程度の性能を示すか？

主な発見

• nCRPは、事前に深さや分岐数を指定せずに、柔軟かつデータ駆動の構造学習が可能なトピック階層を効果的にモデリングした。
• モデルは、複数レベルの抽象度で共通するトピックを持つ文書をクラスタリングし、階層的な主題的組織を反映した。
• 推論アルゴリズムは、木構造、トピック、語の割り当ての後方分布を効果的に近似した。
• 科学的要約の実証的結果から、意味的で解釈可能なトピック階層を発見できることが示された。