[論文レビュー] Variational Inference In Pachinko Allocation Machines

Akash Srivastava, Charles Sutton|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling参考文献 21被引用数 6

ひとこと要約

この論文は、有向無閉路グラフ（DAG）を介してトピック相関を捉える、深層トピックモデルであるPachinko Allocation Machines（aviPAM）のアンモタイズド変分推論を導入する。変分推論に深層ニューラルネットワーク（推論ネットワーク）を用いることで、collapsed Gibbsサンプリングに比べて10倍速く、かつ同等またはそれ以上のトピックの整合性を得られ、従来では計算コストが高すぎて検討が困難だった複雑なPAMアーキテクチャの探索を可能にする。

ABSTRACT

The Pachinko Allocation Machine (PAM) is a deep topic model that allows representing rich correlation structures among topics by a directed acyclic graph over topics. Because of the flexibility of the model, however, approximate inference is very difficult. Perhaps for this reason, only a small number of potential PAM architectures have been explored in the literature. In this paper we present an efficient and flexible amortized variational inference method for PAM, using a deep inference network to parameterize the approximate posterior distribution in a manner similar to the variational autoencoder. Our inference method produces more coherent topics than state-of-art inference methods for PAM while being an order of magnitude faster, which allows exploration of a wider range of PAM architectures than have previously been studied.

研究の動機と目的

• Pachinko Allocation Machines（PAMs）における近似推論の計算的非実行可能性に対処し、複雑なモデルアーキテクチャの探索を制限する要因を解消すること。
• 各アーキテクチャに対して固有のアルゴリズムを導出する必要がない、汎用的なアンモタイズド推論手法をPAMsに開発すること。
• GPU加速された変分推論を活用して、より深く複雑なPAM構造の効率的学習を可能にすること。
• 構造的変分オートエンコーダに適用したトピックモデリングにおける事後分布の崩壊（posterior collapse）の分析と緩和

提案手法

• PAM内のすべての潜在変数の変分パラメータを直接予測できる深層ニューラルネットワーク（推論ネットワーク）を用いた、アンモタイズド変分推論フレームワーク（aviPAM）を提案する。
• DAGにおけるルートからリーフノードまでのパスをトレースするデコーダとしての観測プロセスをモデル化することで、VAEのパラダイムをPAMsに適応する。
• 各単語の生成パスが潜在的であるような、PAMsの複雑で高次元の潜在空間に特化した、新しい構造的VAEアーキテクチャを導入する。
• 推論ネットワークのエンドツーエンド学習を可能にするために、Adam最適化子を用いた確率的勾配降下法を採用し、推論コストの完全なアンモタイズド化を実現する。
• VAEで一般的に見られる問題である事後分布の崩壊を、トピックモデリングの文脈で緩和するため、正規化技術を適用する。
• 複数のPAMを混合したモデル（MoLDA）を用いて、複数のスケールで階層的なトピック構造をモデル化し、同じ推論フレームワークで各成分を学習する。

実験結果

リサーチクエスチョン

• RQ1 複雑で構造的な潜在空間を持つPachinko Allocation Machinesに、アンモタイズド変分推論を効果的に適用できるか？
• RQ2 提案手法の推論法は、collapsed Gibbsサンプリングと比較して、PAMsの学習をより高速かつスケーラブルに行えるか？
• RQ3 他の推論ベースラインと比較して、本手法はより優れた品質のトピック（整合性で測定）を生成できるか？
• RQ4 本手法は、より深く複雑なPAMアーキテクチャの探索をどの程度可能にするか？
• RQ5 正規化に基づくアプローチは、トピックモデリングに適用した構造的VAEにおける事後分布の崩壊をどの程度効果的に緩和できるか？

主な発見

• aviPAMは、NIPSデータセット上でcollapsed Gibbsサンプリングに比べて10倍速く、15時間以上かかっていた学習時間を2時間未満に短縮した。
• スピードアップにもかかわらず、aviPAMが生成するトピックは、collapsed Gibbsサンプリングや他のベースラインと同等またはそれ以上の整合性を示した。
• 20 Newsgroupsデータセットにおいて、aviPAMで学習された4-PAMおよび5-PAMモデルは、すべてのLDA型モデルを上回るトピック整合性を達成した。
• aviPAMで学習された混合PAM（MoLDA）モデルは、複数のスケールで階層的なトピック構造を効果的に捉えた。
• モデルに事後分布の崩壊が観察されたが、正規化に基づく技術により著しく緩和され、トピック品質が向上した。
• 本手法により、10個のスーパー・スーパー・トピック、50個のスーパー・トピック、100個のサブトピックを持つより大きなPAMモデルの学習が可能になった。これは従来、計算コストの高さにより実行不可能とされていた。