[論文レビュー] Attention with Intention for a Neural Network Conversation Model

Kaisheng Yao, Geoffrey Zweig+1 more|arXiv (Cornell University)|Oct 29, 2015

Topic Modeling参考文献 15被引用数 96

ひとこと要約

本稿では、意図と注目メカニズムを統合するAttention with Intention (AWI)モデルを提案する。これは、入力符号化用のエンコーダ、対話レベルの目的をモデル化する意図RNN、および意図に条件付けられた注目メカニズムを持つデコーダを備えた、ニューラル系列対系列フレームワークである。モデルは手動ラベルなしでエンド・ツー・エンドの学習が可能であり、自然で一貫性のある対話応答を生成する。

ABSTRACT

In a conversation or a dialogue process, attention and intention play intrinsic roles. This paper proposes a neural network based approach that models the attention and intention processes. It essentially consists of three recurrent networks. The encoder network is a word-level model representing source side sentences. The intention network is a recurrent network that models the dynamics of the intention process. The decoder network is a recurrent network produces responses to the input from the source side. It is a language model that is dependent on the intention and has an attention mechanism to attend to particular source side words, when predicting a symbol in the response. The model is trained end-to-end without labeling data. Experiments show that this model generates natural responses to user inputs.

研究の動機と目的

• 対話における対話レベルの意図と注目ダイナミクスを捉えるニューラル対話モデルの開発。
• 手動ラベルなしでエンド・ツー・エンドの学習を可能にし、高価な人手によるアノテーションデータへの依存を低減すること。
• 意図を動的状態として明示的にモデル化することで、注目に影響を与えることにより、応答の一貫性と自然さを向上させること。
• 理論的対話構造（意図と注目）を深層学習フレームワークに統合することによる対話のための対話構造の統合。

提案手法

• 入力発話の符号化に双方向LSTMエンコーダを用い、文脈ベクトルに変換する。
• 意図RNNが対話履歴を処理し、現在の対話的目標を表す動的意図状態を生成する。
• デコーダLSTMが自己回帰的に応答を生成し、意図状態に条件付けられた入力源に対する注目を備える。
• 注目重みは、デコーダの隠れ状態とエンコーダの状態のドット積メカニズムにより計算され、意図ベクトルによって調整される。
• 応答生成における交差エントロピー損失を用いて、確率的勾配降下法により、モデル全体をエンド・ツー・エンドで学習する。
• ハイパーパrameterには、50または200の隠れユニット、25のアライメント次元、1層のLSTMを用い、開発セットのパープレクサリティに基づいて学習率を段階的に減衰させる。

実験結果

リサーチクエスチョン

• RQ1 意図と注目を別々だが相互作用するコンponentとしてモデル化することで、対話応答の質が向上するか？
• RQ2 手動ラベルや外部知識なしに、ニューラル対話モデルが一貫性があり自然な応答を生成できるか？
• RQ3 意図状態に条件付けられた注目が、応答の関連性と流暢さに与える影響は何か？
• RQ4 対話レベルの構造（意図）を組み込むことで、固定文脈モデルよりも性能が向上するか？

主な発見

• 200隠れユニットを用いたAWIモデルは、テストセットで22.1のパープレクサリティを達成し、50ユニットモデル（30.8）よりも顕著に低い値であった。これは、言語モデル性能が優れていることを示している。
• モデルは、意図の流れ（例：問題の説明、解決策、承認）が明確に反映されている質的例を通じて、流暢で文脈的に適切な応答を生成した。
• 意図RNNの出力に条件付けられた注目メカニズムにより、デコーダは関連するソース語（例：「ウイルス」）に選択的に注目でき、トラブルシューティングの文脈で有効に機能した。
• 意図や注目メカニズムを備えないベースライン系列対系列モデルよりも優れた性能を示し、質的評価とパープレクサリティの両面で改善が確認された。
• 手動ラベルなしでエンド・ツー・エンドの学習が成功裏に達成された。これは、自己教師付き対話学習の可能性を支持するものである。