[論文レビュー] The nested Chinese restaurant process and hierarchical topic models

David M. Blei, Thomas L. Griffiths+1 more|arXiv (Cornell University)|Oct 3, 2007

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

この論文は、ドキュメントコレクションにおける無限に深い分岐するトピック階層をモデル化する非パラメトリックベイジアン事前分布として、ネストドチナーズレストランプロセス（nCRP）を導入する。nCRPの優先的アタッチメントダイナミクスを用いることで、複数の抽象レベルにわたるドキュメントのクラスタリングが可能となり、事後推論アルゴリズムにより効率的にトピックツリー、トピック、語の割り当てを同定する。実世界の科学的要約コレクションにおいて優れた性能を示している。

ABSTRACT

We present the nested Chinese restaurant process (nCRP), a stochastic process which assigns probability distributions to infinitelydeep, infinitely-branching trees. We show how this stochastic process can be used as a prior distribution in a nonparametric Bayesian model of document collections. Specifically, we present an application to information retrieval in which documents are modeled as paths down a random tree, and the preferential attachment dynamics of the nCRP leads to clustering of documents according to sharing of topics at multiple levels of abstraction. Given a corpus of documents, a posterior inference algorithm finds an approximation to a posterior distribution over trees, topics and allocations of words to levels of the tree. We demonstrate this algorithm on several collections of scientific abstracts. This model exemplifies a recent trend in statistical machine learning—the use of nonparametric Bayesian methods to infer distributions on flexible data structures.

研究の動機と目的

• 無限の深さと分岐を有するトピック階層を、固定された構造的制約なしに柔軟にモデル化できる非パラメトリック事前分布の開発。
• 事前にトピック数や木構造を指定せずに、複数の抽象レベルでのトピック階層の自動発見を可能にすること。
• ドキュメントがランダムな木の根から葉までのパスとして表現される生成モデルの構築により、複数レベルにわたるトピックの共有を捉えること。
• 木構造、トピック、語の割り当ての同時分布を近似する事後推論アルゴリズムの設計。
• 実世界の科学的要約コレクションを対象にモデルを評価し、意味的で解釈可能な階層的トピック構造を同定できる能力を示すこと。

提案手法

• 無限に深い、無限に分岐する木構造に確率的分布を割り当てる確率過程として、ネストドチナーズレストランプロセス（nCRP）を提案する。
• nCRPを木構造の事前分布として用い、各ノードをトピックとして定義し、ドキュメントを根から葉までのノード経路として生成する。
• nCRPに優先的アタッチメントダイナミクスを適用し、既存のものに類似した新しいトピックや分岐を促進することで、階層的クラスタリングを実現する。
• 変分ベイズ推論またはギブスサンプリングを用いて、木構造、トピック、語-トピック割り当ての同時事後分布を近似する事後推論アルゴリズムを開発する。
• ドキュメントを木内のパスに沿ったトピックの系列としてモデル化し、各ノードにおける語の生成をそのノードのトピックに条件づける。
• 非パラメトリックベイジアンフレームワークを採用することで、トピック数や木の深さをデータに応じて増加可能にし、固定されたモデルの複雑さを回避する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアンモデルは、事前にトピック数や木の深さを定義せずに、階層的トピック構造を自動的に推定できるか？
• RQ2 ネストドチナーズレストランプロセスは、ドキュメントコレクションにおける多段階トピッククラスタリングをどれほど適切に捉えられるか？
• RQ3 モデルは、ドキュメントを木内のパスとして表現しつつ、トピック階層における効率的な事後推論を可能にするか？
• RQ4 実際の科学的要約データセットにおいて、意味的で解釈可能な階層的トピック構造を同定する能力はどの程度か？
• RQ5 nCRPの優先的アタッチメント機構は、一貫性があり、段階的なトピック構造の出現をどのように支援するか？

主な発見

• nCRPは、固定された構造的制約なしに、無限に深い分岐するトピック階層を効果的にモデル化でき、ドキュメントコレクションの柔軟な表現を可能にする。
• モデルは、複数の抽象レベルにわたる共通のトピックに基づいてドキュメントがクラスタリングされる階層的トピック構造を発見する。
• 事後推論アルゴリズムは、木構造、トピック、語の割り当ての同時分布を効果的に近似でき、スケーラブルな学習を実現する。
• 科学的要約コレクションに対する実証的評価では、モデルが現実のテーマ的関係を反映した一貫性があり解釈可能な階層的トピック構造を同定している。
• nCRPにおける優先的アタッチメント機構により、複数の粒度で共通のトピックを持つドキュメントが自然にクラスタリングされる。
• モデルの非パラメトリック性により、データの複雑さに応じて適応可能にトピックツリーが拡張され、過学習を回避できる。