[論文レビュー] Kernel Topic Models

Philipp Hennig, David Stern+2 more|arXiv (Cornell University)|Oct 21, 2011

Bayesian Methods and Mixture Models参考文献 18被引用数 33

ひとこと要約

この論文は、文書の特徴量がヒルバート空間上に埋め込まれたガウス過程として文書のトピック割合をモデル化することで、線形的でない構造的関係（時系列的、空間的、社会的メタデータなど）を扱える確率的枠組みであるカーネルトピックモデル（KTM）を導入する。この手法は、変換された基底におけるラプラシアン近似を用いて効率的な近似推論を実現し、線形モデルよりも高いモデルの柔軟性を実現しながら、中規模コーパスにおいても競争力ある性能を達成する。

ABSTRACT

Latent Dirichlet Allocation models discrete data as a mixture of discrete distributions, using Dirichlet beliefs over the mixture weights. We study a variation of this concept, in which the documents' mixture weight beliefs are replaced with squashed Gaussian distributions. This allows documents to be associated with elements of a Hilbert space, admitting kernel topic models (KTM), modelling temporal, spatial, hierarchical, social and other structure between documents. The main challenge is efficient approximate inference on the latent Gaussian. We present an approximate algorithm cast around a Laplace approximation in a transformed basis. The KTM can also be interpreted as a type of Gaussian process latent variable model, or as a topic model conditional on document features, uncovering links between earlier work in these areas.

研究の動機と目的

• 従来のLDAを拡張し、時間、著者、ソーシャルネットワークなどの構造的メタデータを線形的または点推定的手法を越えてトピックモデリングに統合すること。
• ガウス過程を用いてヒルバート空間上の関数としてトピック分布をモデル化し、文書間の非線形的かつ複雑な依存関係を扱えるようにすること。
• 潜在ガウス過程のための効率的な推論アルゴリズムを開発し、事後分布の計算が困難な状況を克服すること。
• トピックモデリングとガウス過程の潜在変数モデルを統合し、ベイズ的手法による不確実性推定と一貫性のあるハイパーパrameter学習を可能にすること。

提案手法

• 文書のトピック割合πdを、ヒルバート空間H内の特徴量φdに対応する潜在ガウス過程h(φd)のソフトマックス変換としてモデル化する。
• 関数h(φ)にガウス過程の事前分布を設定し、カーネル関数ηkによって平均関数と共分散関数を定義することで、特徴量上での非線形回帰によるトピックの推定を可能にする。
• 潜在ガウス変数の事後分布が計算不能であるため、変換された基底におけるラプラシアン近似を適用し、効率的な変分推論を実現する。
• LDAとガウス過程の潜在変数モデルのハイブリッドとしてモデルを定式化し、トピックモデリングと非パrametric回帰を結びつける。
• 文書レベルの事後分布とハイパーパrameterの反復最適化を用いた変分推論フレームワークを採用し、10回ごとにカーネルハイパーパrameterを更新する。
• 時間的および著者ベースの構造をモデル化するため、有理二次カーネルと径路基底関数を、アメリカ合衆国国家安全保障演説データセットに適用する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデルは、文書メタデータとトピック分布の間の非線形的関係を拡張してモデル化できるか？
• RQ2 ガウス過程の事前分布を効果的にトピックモデルに統合することで、時間、場所、ソーシャルネットワークなどの構造的メタデータをモデル化できるか？
• RQ3 非共役的かつ非線形なトピックモデルに潜在ガウス過程を組み込む場合、効率的な近似事後分布計算を可能にする推論手法は何か？
• RQ4 カーネルトピックモデルの性能は、線形モデル（例：DMR）やベースラインLDAと比較して、パープレキシティと収束速度の観点でどのように異なるか？
• RQ5 ソフトマックス基底におけるラプラシアン近似は、トピックモデリングにおける点推定の代わりに、計算的に効率的かつベイズ的手法として有効な代替手段を提供できるか？

主な発見

• State of the Unionデータセットにおいて、カーネルトピックモデルは収束速度は類似しているものの、ディリクレ-多項分布回帰（DMR）ベースラインと比較して最終的なパープレキシティスコアが約12%低く抑えられた。
• Wikipediaグラフデータセットでは、ハイパーパラメータ最適化の過程で語のレベルでの更新が行われないため一時的にパープレキシティが上昇したが、その後より優れた表現に回復した。
• NIPSデータセットの結果では、ハイパーパラメータ最適化後にパープレキシティが顕著に改善され、モデルが複雑なデータ構造に適応できる能力が示された。
• ラプラシアン近似により効率的な推論が可能となり、点推定を用いた先行研究とは異なり、完全なベイズ的手法による不確実性の定量的評価が可能になった。
• モデルの計算コストは文書数の立方に比例するため、非常に大きなコーパスではスケーラビリティに劣るが、中規模で構造的なデータセットに対しては非常に効果的である。
• テストされたすべてのデータセットにおいて、定数モデルおよび線形モデルよりもカーネルモデルが優れた性能を示し、とくにメタデータ構造が非線形的または複雑な場合に顕著な優位性を示した。