[論文レビュー] A Nested HDP for Hierarchical Topic Models

John Paisley, Chong Wang+2 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 4被引用数 4

ひとこと要約

本稿では、共有トピックツリー内を各単語が独自のパスをたどるのを許容することで、nCRP（ネストドチャイニーズレストランプロセス）を拡張したベイジアン非パラメトリックモデル、ネストド階層的ディリクレ過程（nHDP）を提案する。これにより、トピック間で柔軟なトピック借用が可能になる。nCRPの固定された単一パス制約とは異なり、nHDPは文書ごとのパス分布をネストドディリクレ過程を用いて定義し、一貫性のある階層的トピック構造を学習しながら、トピック間の変動をサポートする。180万件のニューヨーク・タイムズ記事を用いたスケーラブルな推論により実証された。

ABSTRACT

We develop a nested hierarchical Dirichlet process (nHDP) for hierarchical topic modeling. The nHDP is a generalization of the nested Chinese restaurant process (nCRP) that allows each word to follow its own path to a topic node according to a document-specific distribution on a shared tree. This alleviates the rigid, single-path formulation of the nCRP, allowing a document to more easily express thematic borrowings as a random effect. We demonstrate our algorithm on 1.8 million documents from The New York Times.

研究の動機と目的

• ネストドチャイニーズレストランプロセス（nCRP）の制限を克服すること。nCRPは文書内のすべての単語をトピックツリーを通過するたった一つのパスに制限しており、トピックの表現力が制限される。
• 各単語がトピックノードへのパスを独立して選択できるようにすることで、文書内でのトピック間借用を可能にすること。これにより、単一のトピック的パスに縛られるのを回避する。
• 共有でグローバルなトピックツリー構造を学習しつつ、文書ごとのトピック分布を許容するベイジアン非パラメトリック事前分布を構築すること。
• ルートトピックが一般的でリーフトピックが特定的となるような、トピック階層の整合性を保ちつつ、文書内でのランダム効果とトピック借用を可能にすること。
• 180万件のニューヨーク・タイムズ記事のような大規模コーパスにスケーリング可能であり、効率的な学習を可能にする変分推論アルゴリズムを用いること。

提案手法

• nHDPは、階層的親子関係を持つ無限のトピックツリー構造を定義するためのベース分布として、グローバルなネストドチャイニーズレストランプロセス（nCRP）を用いる。
• 各文書に対して、グローバルnCRPツリーのノード上に別個のディリクレ過程を抽出し、文書固有のトピック分布を可能にし、異なる部分木を優先できるようにする。
• ツリー内の各ノードには、文書固有のスイッチング確率（i.i.d.ベータ分布に従う）が含まれており、そのノードで停止するか、ツリーをさらに下へ進むかを決定する。
• 単語の生成は、文書固有のHDPパスに従って下りていく。ノードのスイッチング確率に従い、あるノードで停止し、終端ノードのトピックにおける多項分布から単語をサンプリングする。
• モデルはネストドHDP構造を採用する。グローバルnCRPが文書ごとの第二段階のHDPの離散的ベース分布として機能し、共有された原素（トピック）と文書固有の重みを可能にする。
• 大規模データセット（例：180万件のニューヨーク・タイムズ記事）への適用を可能にするために、スケーラブルな変分推論を用いてモデルパラメータを効率的に学習する。

実験結果

リサーチクエスチョン

• RQ1 階層的トピックモデルは、文書内の各単語が共有トピックツリー内を独自のパスでたどるのを許容できるか。すなわち、すべての単語が一意のパスに制限されないか。
• RQ2 ベイジアン非パラメトリックモデルは、一貫性のあるグローバルなトピック階層を学習しつつ、文書内での柔軟なトピック借用を可能にするか。
• RQ3 共有トピックツリー内で文書固有のパス分布を許容することで、トピックの一貫性とトピック表現力にどのような影響を与えるか。
• RQ4 提案されたモデルは、180万件のニュース記事のような大規模コーパスに、効率的な推論でスケーリング可能か。
• RQ5 nHDPは、現実世界のテキストにおいてnCRPと比較して、階層的トピック構造とトピック間関係を効果的に捉えられるか。

主な発見

• nHDPは、180万件のニューヨーク・タイムズ記事において、意味的で解釈可能な階層的トピック構造を効果的に学習した。上位トピックとしてスポーツや外国問題が、一貫性のある部分木を形成した。
• 外国問題では地域別や問題別にトピックの分岐が捉えられ、スポーツではチーム別に分岐が観察された。これは、トピックの効果的な階層的組織化を示している。
• 各文書が複数のパスを通じてトピック借用を表現できることを示しており、単語が異なる部分木を選択している。これはnCRPが単一パス制約のため、このような現象をモデル化できないことを裏付けている。
• 文書固有のスイッチング確率の使用により、文書内でのランダム効果とトピックの変動が可能になり、モデルの柔軟性が向上した。
• スケーラブルな変分推論アルゴリズムにより、大規模データセットに対して一回のパスで学習が可能となり、実世界のテキストコーパスへの実用的応用を示した。
• モデルはトピック階層の一貫性を維持しており、ルートトピックが一般的で、子トピックが段階的に特定的になるという、階層的設計の意図通りの構造を保った。