[論文レビュー] Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

Bing Liu, Ian Lane|arXiv (Cornell University)|Sep 6, 2016

Topic Modeling参考文献 16被引用数 68

ひとこと要約

本論文は、会話理解における統合的意図検出とスロットフィリングのためのアテンションベースの再帰的ニューラルネットワークモデルを提案する。エンコーダ・デコーダアーキテクチャに明示的なアライメント情報を統合し、双方向RNNにアテンション機構を適用することで、最先端の性能を達成した。ATISベンチマークにおいて、独立モデルと比較して意図検出誤差を0.56%（相対誤差23.8%）低減し、スロットフィリングのF1スコアを0.23%向上させた。

ABSTRACT

Attention-based encoder-decoder neural network models have recently shown promising results in machine translation and speech recognition. In this work, we propose an attention-based neural network model for joint intent detection and slot filling, both of which are critical steps for many speech understanding and dialog systems. Unlike in machine translation and speech recognition, alignment is explicit in slot filling. We explore different strategies in incorporating this alignment information to the encoder-decoder framework. Learning from the attention mechanism in encoder-decoder model, we further propose introducing attention to the alignment-based RNN models. Such attentions provide additional information to the intent classification and slot label prediction. Our independent task models achieve state-of-the-art intent detection error rate and slot filling F1 score on the benchmark ATIS task. Our joint training model further obtains 0.56% absolute (23.8% relative) error reduction on intent detection and 0.23% absolute gain on slot filling over the independent task models.

研究の動機と目的

• アテンション機構とアライメントに配慮したRNNを組み合わせることで、会話理解における統合的意図検出とスロットフィリングの性能を向上させること。
• スロットフィリングにおける明示的なアライメントを、シーケンス・トゥ・シーケンスのエンコーダ・デコーダモデルに効果的に統合する方法を調査すること。
• エンコーダ・デコーダモデルからのアテンション機構が、より良いスロットラベル付けと意図分類のためのアライメントベースのRNNを強化できるかどうかを検討すること。
• 独立学習と比較して、意図検出とスロットフィリングの両方においてジョイントトレーニングがもたらす性能向上を評価すること。

提案手法

• 入力シーケンスを処理し、デコーダのためのコンテキストベクトルを生成するために、双方向RNNエンコーダを使用する。
• 出力生成中に関連するエンコーダ状態に動的に注目できるように、デコーダにアテンション機構を採用し、ソフトアライメントを可能にする。
• トレーニング中に各入力語が対応するスロットラベルとペairedされた、アライメントされた入力をエンコーダ・デコーダフレームワークに導入する。
• 隠れ状態からコンテキストベクトルを計算することで、双方向RNNにアテンションを適用し、ラベル予測を改善する。
• 意図検出とスロットフィリングの間でパラメータを共有するジョイントモデルを訓練し、エンド・ツー・エンド最適化を可能にする。
• 意図およびスロット予測の両方で交差エントロピー損失を使用し、推論時にはビームサーチを用いてシーケンス生成を行う。

実験結果

リサーチクエスチョン

• RQ1 スロットフィリングにおける明示的なアライメント情報を、アテンションベースのエンコーダ・デコーダモデルに効果的に統合する方法は何か？
• RQ2 エンコーダ・デコーダモデルからのアテンション機構は、統合的意図およびスロット予測におけるアライメントベースのRNNの性能を向上させられるか？
• RQ3 意図検出とスロットフィリングのジョイントトレーニングは、独立学習よりも優れた性能をもたらすか？
• RQ4 アテンションと双方向符号化が、ATISベンチマークにおけるモデル性能に果たす相対的寄与度は何か？

主な発見

• アテンションベースの双方向RNNを用いたジョイントトレーニングモデルは、独立モデルと比較して意図検出誤差率を0.56%絶対値低下させた（相対誤差23.8%）。
• 同じジョイントモデルは、独立学習と比較してスロットフィリングのF1スコアを0.23%向上させた。
• アライメントされた入力を備えたアテンションベースのエンコーダ・デコーダモデルは、スロットフィリングF1スコア95.78%を達成し、以前の最先端結果を上回った。
• アテンションベースの双方向RNNモデルは、意図検出誤差率2.35%を達成し、以前の最先端手法を上回った。
• 10分割交差検証を実施した追加のATISデータセットでは、アテンションベースの双方向RNNジョイントモデルがF1スコア95.78%、意図誤差率5.60%を達成し、先行するジョイントモデルを上回った。
• アテンション機構は意味のある注目パターンを示し、たとえばスロットラベル予測時に'noon'などの関連語に注目するなど、効果的なコンテキスト利用が確認された。