[論文レビュー] Recurrent Hierarchical Topic-Guided RNN for Language Generation

Dandan Guo, Bo Chen+2 more|arXiv (Cornell University)|Dec 21, 2019

Topic Modeling被引用数 10

ひとこと要約

この論文では、再帰的ガンマベイズネットワーク（rGBN）をスタックドRNNと統合することで、深く解釈可能なトピック階層とシーケンスレベルの意味を同時に学習する再帰的階層的トピックガイド付きRNN言語モデル、rGBN-RNNを提案する。モデルは文や文書をまたがる長距離依存関係を捉え、従来のRNNベースのモデルを上回り、文法的に正しい、意味的に整合性があり多様なテキストを生成する。また、テキスト内の時間的および構造的関係を反映する階層的トピックを学習する。

ABSTRACT

To simultaneously capture syntax and global semantics from a text corpus, we propose a new larger-context recurrent neural network (RNN) based language model, which extracts recurrent hierarchical semantic structure via a dynamic deep topic model to guide natural language generation. Moving beyond a conventional RNN-based language model that ignores long-range word dependencies and sentence order, the proposed model captures not only intra-sentence word dependencies, but also temporal transitions between sentences and inter-sentence topic dependencies. For inference, we develop a hybrid of stochastic-gradient Markov chain Monte Carlo and recurrent autoencoding variational Bayes. Experimental results on a variety of real-world text corpora demonstrate that the proposed model not only outperforms larger-context RNN-based language models, but also learns interpretable recurrent multilayer topics and generates diverse sentences and paragraphs that are syntactically correct and semantically coherent.

研究の動機と目的

• RNNベースの言語モデルが文書全体にわたる長距離依存関係やグローバルな意味構造を捉えることの限界を解消すること。
• 文の順序やテキスト内の階層的構造を無視する浅いトピックモデルの欠陥を克服すること。
• 深く階層的なトピックとシーケンスレベルの言語モデリングを統合的に学習するフレームワークを構築すること。
• トピック階層の異なる層からのマルチレベルのトピックを条件として用いることで、制御可能なテキスト生成を可能にすること。
• 共同モデルのエンドツーエンド学習を可能にするスケーラブルな推論手法を設計すること。

提案手法

• モデルは、時間とともに変化する深く階層的なトピック構造を学習し、文間の依存関係を捉えるために再帰的ガンマベイズネットワーク（rGBN）を用いる。
• スタックドRNNを言語モデルのコンponentとして用い、階層的トピック表現に条件づけられた語列を生成する。
• スケーラブルでエンドツーエンドの学習を可能にするために、確率的勾配マルコフ連鎖モンテカルロ（SG-MCMC）と再帰的オートエンコーダー変分ベイズを組み合わせたハイブリッド推論戦略を採用する。
• rGBNは複数のレイヤーにわたる文書レベルの語の同時出現パターンをモデル化し、上位レイヤーではより一般的なトピック、下位レイヤーではより具体的なトピックとなる。
• 生成時に、異なるレイヤーの潜在的トピックベクトルに条件づけてRNNを制御することで、意味的に整合的で制御可能な文や段落の生成を実現する。
• 入力パラグラフが動的な階層的潜在表現にエンコードされ、その後、文脈的に関連性があり多様なテキストシーケンスが生成される。

実験結果

リサーチクエスチョン

• RQ1 深く再帰的なトピックモデルは、文書レベルのテキストにおいて長距離依存関係と階層的意味構造を効果的に捉えることができるか？
• RQ2 トピックガイド付きRNN言語モデルは、標準的なRNNと比較して、より多様で意味的に整合性のあるテキストを生成できるか？
• RQ3 モデルは、テキスト内の時間的および構造的関係を反映する解釈可能なマルチレベルのトピック階層を学習できるか？
• RQ4 階層的トピックの統合により、RNNベースの言語モデルの実世界のテキストコーパスにおける性能が向上するか？
• RQ5 入力パラグラフを階層的潜在表現で条件づけることで、モデルは意味的に整合性のある段落を生成できるか？

主な発見

• rGBN-RNNは、さまざまな実世界のテキストコーパスにおいて、より大きなコンテキストを持つRNNベースの言語モデルを上回り、生成品質と整合性の両面で優れた性能を示した。
• モデルは解釈可能なマルチレイヤーのトピック階層を効果的に学習し、下位レイヤーでは具体的なトピック、上位レイヤーでは徐々に一般的なトピックとなることが確認された。
• 単一または複数のトピックに条件づけて生成された文は、キーワードが完全に一致しなくてもトピックと意味的に関連しており、効果的なトピックガイド付き生成が実現していることが示された。
• トピック階層の可視化から、同じレイヤー内のトピック間の時間的関係と、レイヤー間の階層的関係が捉えられていることが確認された。
• 入力パラグラフに条件づけて生成された段落は意味的に整合性を保ち、個々の文を超えた文脈情報を組み込んでいる。
• ハイブリッド推論手法により、効率的でスケーラブルな学習が可能となり、言語モデリングとトピックモデリングの両目的を同時に最適化できるようになった。