[論文レビュー] A Discrete Variational Recurrent Topic Model without the Reparametrization Trick

Mehdi Rezaee, Francis Ferraro|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 50被引用数 14

ひとこと要約

本稿では、再パラメータ化や確率的バックプロパゲーションを用いずに、明示的で単語レベルのトピック割り当てを維持する離散変分再帰的トピックモデルを提案する。RNNに基づく系列モデリングとニューラル変分推論を組み合わせることで、パープレキシティとドキュメント理解の両方を向上させるとともに、トピック割り当ての解釈可能性をディリクレ事前分布によるトピック比率の制御によって実現する。

ABSTRACT

We show how to learn a neural topic model with discrete random variables---one that explicitly models each word's assigned topic---using neural variational inference that does not rely on stochastic backpropagation to handle the discrete variables. The model we utilize combines the expressive power of neural methods for representing sequences of text with the topic model's ability to capture global, thematic coherence. Using neural variational inference, we show improved perplexity and document understanding across multiple corpora. We examine the effect of prior parameters both on the model and variational parameters and demonstrate how our approach can compete and surpass a popular topic model implementation on an automatic measure of topic quality.

研究の動機と目的

• 各単語に対して再パラメータ化や周辺化に依存せずに明示的な離散的トピック割り当てを維持するニューラルトピックモデルの開発を目的とする。
• 再帰的ニューラルネットワークと変分推論を統合し、系列における主題的（トピック的）および文法的（構文的）な単語動態をモデリングすることを目的とする。
• 特にドキュメント-トピック割合におけるディリクレ事前分布の影響が、モデル性能および変分パラメータ制御に与える影響を調査することを目的とする。
• 明示的なトピック割り当てを保持することで、周辺化されたトピックを用いるモデルと比較して、トピック品質および言語理解が向上することを示すこと。
• 前処理とトピックモデリングを統合的に考慮できるフレームワークを提供し、NLPワークフローにおける解釈可能性と制御性を高めることを目的とする。

提案手法

• テキストの系列的依存関係をモデリングするため再帰的ニューラルネットワークを用い、隠れ状態が局所的な構文的構造を捉える。
• 各単語をカテゴリカル分布を介して離散的トピックに割り当て、学習全体を通して明示的なトピック割り当てを維持する。
• 再パラメータ化を用いず、トピック割り当てを逆伝播可能にするための離散的リラクゼーション技術を用いたニューラル変分推論を適用する。
• ドキュメント-トピック割合（θ）にディリクレ事前分布を適用し、学習されたトピックのスパarsityと多様性を微細に制御する。
• 離散的潜在変数の微分可能リラクゼーションを活用し、離散変数に対する確率的バックプロパゲーションを回避する勾配ベース最適化を可能にする。
• 再構成と正則化のバランスを取るため、負の変分下界（ELBO）を目的関数として、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 再パラメータ化や周辺化に依存せずに、再帰的トピックモデルが明示的で離散的な単語レベルのトピック割り当てを維持できるか？
• RQ2 特にディリクレ分布とガウス分布を比較した場合、異なる事前分布が学習された変分パラメータの構造およびトピック品質に与える影響は何か？
• RQ3 明示的なトピック割り当てを保持することで、トピックを周辺化するモデルと比較して、言語モデリング性能およびドキュメント理解が向上するか？
• RQ4 事前分布のパラメータが、主題の一貫性および構文的依存関係を捉えるモデルの能力に、どの程度影響を与えるか？
• RQ5 モデルの設計が、前処理とトピックモデリングを統合する文脈において、解釈可能性と制御性をサポートできるか、特に下流のNLPワークフローにおいて。

主な発見

• 本モデルは、ベースラインモデルと比較して複数のコーパスでパープレキシティが向上し、より優れた言語モデリング性能を示している。
• 自動トピック品質メトリクスにおいて、一般的に使われるトピックモデル実装を上回り、より高い一貫性と解釈可能性を示している。
• ドキュメント-トピック割合にディリクレ事前分布を適用することで、ガウス事前分布よりもトピック分布のスパarsityと多様性をより微細に制御できる。
• 本モデルは、学習および推論の全過程で明示的なトピック割り当てを維持しており、単語-トピック関係の直接的な検査と分析が可能である。
• 周辺化されたトピックや再パラメータ化を用いるモデルと比較して、特に長距離の主題的依存関係を捉える点で優れた性能を示している。
• 本モデルは、ディープラーニングコンponentsを用いても、事前分布設計がニューラルトピックモデリングにおいて依然として重要な要因であることを示している。