[論文レビュー] A Neural Conversational Model

Oriol Vinyals, Quoc V. Le|arXiv (Cornell University)|Jun 19, 2015

Topic Modeling参考文献 18被引用数 1,502

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNN）に基づくシーケンス・ツー・シーケンス（seq2seq）フレームワークを用いたニューラル対話モデルを紹介している。このモデルは、オープンドメインおよびドメイン特化対話生成のエンド・ツー・エンド学習を可能にしている。非望ましい目的関数を最適化しているにもかかわらず、モデルは滑らかで文脈的に関連性のある応答を生成し、ITヘルプデスクおよび映画字幕データセットにおいて、基本的な推論および問題解決能力を示しており、人間評価においてルールベースのボットを上回っている。

ABSTRACT

Conversational modeling is an important task in natural language understanding and machine intelligence. Although previous approaches exist, they are often restricted to specific domains (e.g., booking an airline ticket) and require hand-crafted rules. In this paper, we present a simple approach for this task which uses the recently proposed sequence to sequence framework. Our model converses by predicting the next sentence given the previous sentence or sentences in a conversation. The strength of our model is that it can be trained end-to-end and thus requires much fewer hand-crafted rules. We find that this straightforward model can generate simple conversations given a large conversational training dataset. Our preliminary results suggest that, despite optimizing the wrong objective function, the model is able to converse well. It is able extract knowledge from both a domain specific dataset, and from a large, noisy, and general domain dataset of movie subtitles. On a domain-specific IT helpdesk dataset, the model can find a solution to a technical problem via conversations. On a noisy open-domain movie transcript dataset, the model can perform simple forms of common sense reasoning. As expected, we also find that the lack of consistency is a common failure mode of our model.

研究の動機と目的

• 手作業によるルールやドメイン特化特徴工学を用いずに、シンプルでエンド・ツー・エンドのニューラルアプローチによる対話モデリングを開発すること。
• シーケンス・ツー・シーケンスRNNが、オープンドメインおよびドメイン特化対話において一貫性があり文脈的に関連する応答を生成できるかどうかを調査すること。
• ノイズが多く大規模なデータセット（例：映画字幕）から知識を抽出し、基本的な推論を実行できるかどうかを評価すること。
• 人間評価および自動指標を用いて、CleverBotのようなルールベースのチャットボットと比較して、モデルのパフォーマンスを評価すること。
• データ駆動型ニューラルモデルが、長時間の会話において一貫性や整合性を維持する能力にどのような限界を示すかを検討すること。

提案手法

• モデルは、エンコーダ・デコーダアーキテクチャを採用しており、エンコーダRNNが会話履歴を処理し、デコーダRNNが1トークンずつ応答を生成する。
• 学習中、モデルは交差エントロピー損失と時間遡及バックプロパゲーションを用いて、文脈をもとに真の応答の尤度を最大化する。
• 推論時、モデルはグリーディデコードを用いる：各ステップで予測されたトークンが次のステップの入力として使用され、全応答系列が生成される。
• モデルは2つのデータセットで学習されている：ドメイン特化型のITヘルプデスクデータセットと、大規模でノイズの多いオープンドメインの映画字幕データセット。
• 長短期記憶（LSTM）ネットワークを用いて、長時間系列における勾配消失問題を軽減している。
• モデルのパフォーマンスは、パープレキシティ、人間評価（CleverBotとの比較）、生成された会話の定性的分析を用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 完全にデータ駆動型でエンド・ツー・エンドのニューラルモデルは、オープンドメイン対話において滑らかで文脈的に適切な応答を生成できるか？
• RQ2 シーケンス・ツー・シーケンスRNNは、ノイズが多く構造のない対話データから、一般的な常識的推論をどれほど学び適用できるか？
• RQ3 人間評価において、このニューラル対話モデルはCleverBotのようなルールベースシステムと比べて、どの程度優れているか？
• RQ4 次のトークン生成の尤度を最大化することに特化して学習されたモデルが、主な失敗モードは何か？
• RQ5 このようなモデルは、限定的だが焦点が当たったデータセット（例：ITヘルプデスクログ）からドメイン特化知識（例：トラブルシューティング手順）を抽出・適用できるか？

主な発見

• モデルは200件の質問のうち97件で人間の好みを獲得し、CleverBotは200件中60件で好まれ、20件の同率、23件の不一致であった。
• ITヘルプデスクデータセットでは、モデルが技術的問題を正しく追跡し、一部のケースで正しい解決策を提示しており、ドメイン特化推論を示している。
• 映画字幕データセットでは、モデルが基本的な原因・結果関係や物理的性質を理解するような、単純な形の常識的推論を示す応答を生成している。
• n-gramベースラインよりも低いパープレキシティを達成しており、会話系列における長距離依存関係をよりよく捉えていることが示唆されている。
• 成功を収めたものの、モデルは頻繁に一貫性を欠いており、自身の以前の発言と矛盾する（例：弁護士でありながら医師であると主張する）ことがある。
• モデルのパフォーマンスは、一貫性のある個性や長期記憶の欠如により制限されており、タービングテストに合格するには不適切である。