[論文レビュー] Hierarchical Neural Network Generative Models for Movie Dialogues.

Iulian Vlad Serban, Alessandro Sordoni+3 more|arXiv (Cornell University)|Jul 17, 2015

Topic Modeling参考文献 41被引用数 155

ひとこと要約

本稿では、階層的再帰的エンコーダデコーダアーキテクチャを拡張することで、映画の会話生成のための階層的ニューラルネットワーク生成モデルを提案し、最先端のニューラルモデルおよびn-gramモデルと比較して競争力のある性能を達成した。主な改善点は、大規模な質問-回答コーパスを用いたブートストラップと、事前学習済みの単語埋め込みの使用であり、これらにより生成品質が顕著に向上した。

ABSTRACT

We consider the task of generative dialogue modeling for movie scripts. To this end, we extend the recently proposed hierarchical recurrent encoder decoder neural network and demonstrate that this model is competitive with state-of-the-art neural language models and backoff n-gram models. We show that its performance can be improved considerably by bootstrapping the learning from a larger questionanswer pair corpus and from pretrained word embeddings.

研究の動機と目的

• 映画の会話生成に特化したニューラル生成モデルの開発を目的とし、一貫性があり文脈的に関連する会話を生成する課題に対処すること。
• 会話のターンにおける長距離依存関係を捉えるために、階層的シーケンスモデリングを活用してモデル性能を向上させること。
• 大規模な質問-回答コーパスにおける事前学習および事前学習済みの単語埋め込みが、会話生成品質に与える影響を調査すること。
• 提案されたモデルの性能を、最先端のニューラル言語モデルおよびn-gramバックオフモデルと比較すること。

提案手法

• モデルは、発話レベルで発話をエンコードし、会話レベルで会話をエンコードする階層的再帰的エンコーダデコーダアーキテクチャを採用している。
• スタックされた長短期記憶（LSTM）ネットワークを用いて、発話間および発話内での階層的依存関係をモデル化している。
• モデルは映画の会話データセットを用いて微調整され、シーケンス・ツー・シーケンス学習および教師強制を用いて最適化されている。
• 一般化を向上させるために、入力埋め込みの初期化に事前学習済みの単語埋め込み（例：Word2Vec や GloVe）を用いている。
• モデルは、映画の台本での微調整の前に、大規模な質問-回答コーパスで事前学習することでさらにブートストラップされている。
• デコードは自己回帰的に実行され、多様で滑らかな応答を生成するためにビームサーチが用いられている。

実験結果

リサーチクエスチョン

• RQ1 階層的再帰的エンコーダデコーダモデルは、一貫性があり文脈的に関連する映画の会話を効果的に生成できるか？
• RQ2 大規模な質問-回答コーパスでの事前学習は、映画の台本における会話生成のパフォーマンスをどのように向上させるか？
• RQ3 事前学習済みの単語埋め込みは、モデルの滑らかで意味のある発話を生成する能力をどの程度向上させるか？
• RQ4 提案されたモデルは、最先端のニューラル言語モデルおよびn-gramバックオフモデルと比較して、どの程度のパフォーマンスを示すか？

主な発見

• 階層的ニューラルネットワークモデルは、映画の会話生成タスクにおいて、最先端のニューラル言語モデルと同等の性能を達成した。
• 大規模な質問-回答コーパスでの事前学習は、特に一貫性と関連性の面で、会話生成の品質を顕著に向上させた。
• 事前学習済みの単語埋め込みの使用により、モデルの性能がさらに向上し、会話発話の意味的表現が改善された。
• モデルは、生成される会話の滑らかさと多様性の両面で、従来のn-gramバックオフモデルを上回った。
• 階層的モデリング、QAデータでの事前学習、および事前学習済み埋め込みの組み合わせにより、映画台本向けに強力な生成モデルが実現された。