[論文レビュー] SenGen: Sentence Generating Neural Variational Topic Model

Ramesh Nallapati, Igor Melnyk+2 more|arXiv (Cornell University)|Aug 1, 2017

Topic Modeling参考文献 13被引用数 8

ひとこと要約

SenGenは、単語ではなく文単位でトピックを割り当てるニューラル変分トピックモデルを提案する。RNNデコーダーを文単位のトピックに条件付けすることで、一貫性があり解釈可能な文を生成する。モデルは、文書レベルのトピック混合と文単位のトピック割り当てのそれぞれに別個の変分エンコーダーを用いるVAEフレームワークを採用しており、トピック的ディス course 構造のより良いモデリングと、生成された文によるより高いトピックの解釈可能性を実現する。

ABSTRACT

We present a new topic model that generates documents by sampling a topic for one whole sentence at a time, and generating the words in the sentence using an RNN decoder that is conditioned on the topic of the sentence. We argue that this novel formalism will help us not only visualize and model the topical discourse structure in a document better, but also potentially lead to more interpretable topics since we can now illustrate topics by sampling representative sentences instead of bag of words or phrases. We present a variational auto-encoder approach for learning in which we use a factorized variational encoder that independently models the posterior over topical mixture vectors of documents using a feed-forward network, and the posterior over topic assignments to sentences using an RNN. Our preliminary experiments on two different datasets indicate early promise, but also expose many challenges that remain to be addressed.

研究の動機と目的

• 従来のbag-of-words表現に依存するのではなく、各トピックごとに代表的な文を生成することで、トピックの解釈可能性を向上させること。
• 文単位でトピックを割り当てることで、トピックの変化や切り替えといった現象を捉えることにより、トピック的ディス course 構造をモデリングすること。
• 変分オートエンコーダーをトピックモデリングに拡張するにあたり、文書レベルの混合に加え、文単位のトピック割り当ての事後分布を明示的にモデリングすること。
• トピックに条件付けられたRNNを用いて文内の語の依存関係をモデリングすることで、より一貫性があり意味的に意味のあるドキュメント生成を可能にすること。
• 従来のVAEベースのトピックモデルが文書レベルの事後分布にのみ焦点を当て、局所的なトピック割り当てのモデリングを無視するという限界を克服すること。

提案手法

• モデルは、まず標準正規分布から文書レベルのトピック混合ベクトル θd をサンプリングし、次に θd のソフトマックスを用いて各文 s にトピック zₛ を割り当てる。
• 各文について、学習済みのトピック埋め込みベクトル EmbZ に条件付けられたトピック固有のGRU-RNNデコーダーが、文内の依存関係を捉えながら語を生成する。
• 因子化された変分推論フレームワークが用いられる：文書レベルのトピック混合の事後分布は全結合ネットワークで、文単位のトピック割り当ての事後分布はRNNエンコーダーでモデリングされる。
• モデルは再パラメータ化勾配を用い、確率的トピック割り当てを介してバックプロパゲーションが可能となるように、エンドツーエンドの学習を可能にする。
• デコーダーは、RNNのソフトマックス出力からビームサーチまたはグリーディサンプリングにより系列を生成し、頻出語の処理と整合性の向上のためのアテンションを用いる。
• このフレームワークにより、文間でのトピック遷移の可視化が可能となり、ドキュメント内のトピック的ディス course 構造の分析が可能になる。

実験結果

リサーチクエスチョン

• RQ1 従来のbag-of-wordsモデルと比較して、語ではなく文単位でトピックを割り当てることで、より解釈可能で一貫性のあるトピックが得られるか。
• RQ2 RNNエンコーダーを用いて文単位のトピック事後分布を明示的にモデリングすることで、生成ドキュメントの品質と整合性が向上するか。
• RQ3 トピック埋め込みに条件付けられたRNNベースのデコーダーは、文法的に正しいかつ意味的に意味のある文を生成できるか。
• RQ4 周辺化度とトピックの解釈可能性という観点から、既存のVAEベースのトピックモデルと比較して、本モデルの性能はどのように異なるか。
• RQ5 特に過学習や情報量の少ない繰り返しの多い系列の生成といった課題が、高パラメータ数のこのモデルの学習において生じるか。

主な発見

• ビームサーチによる生成では、文法的に正しい文が得られるが、数ステップ後には繰り返しが多くなり、情報量が少なくなる傾向がある。
• 確率的サンプリングによるRNNデコーダー出力は、整合性に欠け、文法的に不適切な系列となるが、トピック語が多く含まれており、文法性とトピック関連性のトレードオフが顕在化している。
• 予備的な定量的結果では、ベースラインモデルより周辺化度が高くなっているが、これはデータセットの前処理の差異と、高パラメータ数に起因する過学習の可能性がある。
• 本モデルが各トピックごとに代表的な文を生成できる能力は、従来のbag-of-wordsトピック表現に比べ、トピックの解釈可能性を向上させている。
• 本フレームワークにより、文間でのトピック遷移の可視化が可能となり、トピックの変化や切り替えといったトピック的ディス course 現象のモデリングへの道筋が示された。
• 著者らは、ストップワードと頻出語が大きな問題であると特定しており、今後の研究ではこれらを別個に処理する必要があると示唆しており、事前学習済みbag-of-wordsモデルを初期化に用いる可能性を示唆している。