[論文レビュー] Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network

Zhibin Duan, Wang, Dongsheng+6 more|arXiv (Cornell University)|Jun 30, 2021

Topic Modeling被引用数 10

ひとこと要約

本稿では、段階的トピック依存関係を、スイッチバック因子分解構造を介して層間でトピックおよび語の埋め込みを共有することによって捉えることで、深層ニューラルトピックモデルである Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network (SawETM) を提案する。スイッチバック接続された推論ネットワークと変分オートエンコーダーを統合することで、文書表現学習、トピックの解釈可能性、クラスタリングの分野で最先端の性能を達成し、最大15層の深層アーキテクチャにおいても成功が裏付けられている。

ABSTRACT

Hierarchical topic models such as the gamma belief network (GBN) have delivered promising results in mining multi-layer document representations and discovering interpretable topic taxonomies. However, they often assume in the prior that the topics at each layer are independently drawn from the Dirichlet distribution, ignoring the dependencies between the topics both at the same layer and across different layers. To relax this assumption, we propose sawtooth factorial topic embedding guided GBN, a deep generative model of documents that captures the dependencies and semantic similarities between the topics in the embedding space. Specifically, both the words and topics are represented as embedding vectors of the same dimension. The topic matrix at a layer is factorized into the product of a factor loading matrix and a topic embedding matrix, the transpose of which is set as the factor loading matrix of the layer above. Repeating this particular type of factorization, which shares components between adjacent layers, leads to a structure referred to as sawtooth factorization. An auto-encoding variational inference network is constructed to optimize the model parameter via stochastic gradient descent. Experiments on big corpora show that our models outperform other neural topic models on extracting deeper interpretable topics and deriving better document representations.

研究の動機と目的

• 既存の階層的トピックモデルが層間のトピック独立性を仮定しているという限界を是正すること。
• 共通の埋め込み空間におけるトピック間の意味的類似性と依存関係をモデル化することで、文書表現学習を改善すること。
• 変分推論フレームワークを用いて、最大15層にまで及ぶ深層的でスケーラブルかつ解釈可能なトピックモデリングを可能にすること。
• より良い事後分布近似を得るために、スイッチバック接続された推論ネットワークを設計することで、深層VAEにおけるコンポonent崩壊問題を克服すること。

提案手法

• SawETM は、共通の潜在空間内に、語とトピックの両方を共有次元の埋め込みベクトルとして表現する。
• スイッチバック因子分解を採用：層 l におけるトピック行列は、要因負荷行列とトピック埋め込み行列に因子分解され、層 l のトピック埋め込み行列の転置が、層 l+1 の要因負荷行列として使用される。
• 潜在変数の事後分布を近似するために、スイッチバック接続された決定的上行パスと確率的パスを備えた深層階層的変分オートエンコーダーを用いる。
• モデルパラメータの学習には、自動符号化変分推論ネットワークを介した確率的勾配降下法を適用する。
• 独自の訓練戦略により、事後分布崩壊を緩和することで、深層アーキテクチャ（例：15層）をサポートする。
• t-SNE を用いて、語とトピックの埋め込みを共同で学習・可視化し、意味的整合性と階層的構造を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルトピックモデルは、複数の層にわたるトピック間の意味的依存関係を効果的に捉えることができるか？
• RQ2 独立したトピック事前分布と比較して、スイッチバック因子分解機構は、トピックの整合性と階層的構造学習をどのように向上させるか？
• RQ3 共有語-トピック埋め込みは、文書表現品質と下流のクラスタリング性能をどの程度向上させるか？
• RQ4 深層変分トピックモデルは、極めて深い構造（例：15層）においても、事後分布崩壊を回避し、性能を維持できるか？
• RQ5 実世界のコーパスにおいて、モデルが生成する階層的トピックとその関係性は、どの程度解釈可能か？

主な発見

• R8 データセットにおいて、SawETM は、DNTM や DETM や WHAI といったベースラインを上回り、正規化相互情報量（NMI）45.90 および正解率（AC）63.82 の最高値を達成した。
• 20NG データセットでは、NMI 50.77 および AC 63.82 を達成し、優れた文書クラスタリング性能を示した。
• 周辺度が低下し、t-SNE の可視化結果から、同じトピックに属する語がクラスタを形成し、サブトピックが意味的に類似していることが確認された。
• 可視化結果から、学習されたトピック埋め込みと階層的接続が意味的に意味を持つことが確認され、15層の深さでさえも一貫性のあるトピック階層が明確に可視化された。
• スイッチバック接続された推論ネットワークは、事後分布崩壊を効果的に緩和し、深層アーキテクチャにおける安定した学習と高品質な表現学習を可能にした。
• SawETM は、共有空間内に語とトピックの埋め込みを効果的に学習し、共同での意味的分析とモデルの解釈可能性の向上を実現した。