[論文レビュー] A Neural Network Approach to Context-Sensitive Generation of Conversational Responses

Alessandro Sordoni, Michel Galley+7 more|arXiv (Cornell University)|Jun 22, 2015

Topic Modeling参考文献 26被引用数 78

ひとこと要約

この論文では、再帰的ニューラルネットワーク（RNN）を用いて文脈のある対話履歴を符号化し、非構造化されたTwitterの会話から自然で文脈に適した応答を生成するニューラルネットワークベースの応答生成モデルを提案する。本モデルは、データスパarsityを軽減し、大規模なソーシャルメディアデータ上でエンド・トゥ・エンド学習を可能にする連続的単語埋め込みを活用することで、文脈に依存しないおよび文脈に依存するベースラインに対して一貫した改善を達成し、機械翻訳（MT）で最大11%の相対BLEU向上、情報検索（IR）で24%の向上を達成した。

ABSTRACT

We present a novel response generation system that can be trained end to end on large quantities of unstructured Twitter conversations. A neural network architecture is used to address sparsity issues that arise when integrating contextual information into classic statistical models, allowing the system to take into account previous dialog utterances. Our dynamic-context generative models show consistent gains over both context-sensitive and non-context-sensitive Machine Translation and Information Retrieval baselines.

研究の動機と目的

• 文脈のある対話履歴を統合することで、より自然で関連性の高い応答を生成できるデータ駆動型でエンド・トゥ・エンドで学習可能な応答生成システムの開発。
• 文脈情報を統合する統計的モデルにおけるスパarsity問題を、分散表現による単語表現を用いることで解決すること。
• 手動による特徴量設計、アノテーション、または構文解析を一切行わず、文脈に敏感な応答生成を可能にすること。
• 標準的なSMTメトリクス（BLEUやMETEORなど）を用いた自動評価の信頼性を高めるために、複数のリファレンスを抽出する技術を導入すること。
• 大規模で非構造的なソーシャルメディアデータを用いたオープンドメイン、文脈に敏感な会話応答生成におけるニューラルネットワークの実現可能性を示すこと。

提案手法

• モデルは、過去の発話文を連続的な隠れ表現に符号化することで文脈的意味を捉える、再帰的ニューラルネットワーク言語モデル（RNNLM）アーキテクチャを用いる。
• 条件付きRNNLMは、符号化された文脈ベクトルに条件付けられて応答をデコードすることで、文脈に敏感な生成を実現する。
• 単語およびフレーズの埋め込みを用いることで、意味的・構文的類似性を効果的に表現し、大規模学習におけるスパarsityを低減する。
• 人為的アノテーションの対話状態やルールベースの構文解析を一切行わず、非構造化されたTwitter会話データ上でエンド・トゥ・エンドで学習する。
• 自動評価のための複数のリファレンス応答を生成するために、新規なマルチリファレンス抽出技術を導入する。
• 標準的なメトリクス（BLEUやMETEORなど）を用いて評価を行い、MTおよびIRの設定において文脈に依存しないおよび文脈に依存するベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークモデルは、非構造化されたソーシャルメディア会話から文脈に敏感な応答を効果的に学習して生成できるか？
• RQ2 対話履歴の連続的表現を組み込むことで、従来の統計的モデルと比較して応答のなめらかさと関連性がどのように向上するか？
• RQ3 明示的な対話状態モデリングなしに、大規模データ上でエンド・トゥ・エンド学習をすることで、応答生成がどの程度向上するか？
• RQ4 マルチリファレンス抽出手法は、標準的なSMTメトリクスを用いた信頼性の高い自動評価を可能にするか？
• RQ5 応答生成の性能と一貫性は、より長い文脈やメッセージ入力に対してどのようにスケーリングするか？

主な発見

• 提案された文脈に敏感なニューラル応答生成モデルは、機械翻訳（MT）設定において、文脈に依存しないおよび文脈に依存するベースラインを最大11%の相対BLEU向上で上回った。
• 情報検索（IR）設定では、最良のベースラインに対して24%の相対的向上を達成し、多様な応答生成タスクにおける強力な一般化能力を示した。
• モデルは平均して8.95語の短い応答を生成したが、人間のリファレンス（平均11.5語）と比較して、サンプルの70%で文脈的に妥当な応答を生成した。
• より長い応答は、一貫性の欠如、内部矛盾、感情の一貫性の欠如といった問題を抱える傾向にあり、長期的な一貫性を維持する課題が明らかになった。
• 分散埋め込みの使用により、希少語や低頻度フレーズに対してもモデルは耐性を示し、データスパarsity問題を緩和した。
• マルチリファレンス抽出技術により、標準的なSMTメトリクスを用いた信頼性の高い自動評価が可能となり、モデル間の一貫した比較が可能になった。