[論文レビュー] AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent Detection and Slot Filling

Libo Qin, Xu Xiao+2 more|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 31被引用数 11

ひとこと要約

本稿では、動的グラフアテンションメカニズムを用いてトークンと複数の意図の間の細分化された相互作用をモデル化することで、共同で複数の意図検出とスロットフィリングを実行するためのアダプティブグラフインタラクティブフレームワークAGIFを提案する。トークンレベルでの関連する意図情報のアダプティブ統合により、AGIFは3つの複数意図データセットで最先端の性能を達成し、2つの単一意図ベンチマークでも最先端性能を上回ることで一般化性能を向上させた。

ABSTRACT

In real-world scenarios, users usually have multiple intents in the same utterance. Unfortunately, most spoken language understanding (SLU) models either mainly focused on the single intent scenario, or simply incorporated an overall intent context vector for all tokens, ignoring the fine-grained multiple intents information integration for token-level slot prediction. In this paper, we propose an Adaptive Graph-Interactive Framework (AGIF) for joint multiple intent detection and slot filling, where we introduce an intent-slot graph interaction layer to model the strong correlation between the slot and intents. Such an interaction layer is applied to each token adaptively, which has the advantage to automatically extract the relevant intents information, making a fine-grained intent information integration for the token-level slot prediction. Experimental results on three multi-intent datasets show that our framework obtains substantial improvement and achieves the state-of-the-art performance. In addition, our framework achieves new state-of-the-art performance on two single-intent datasets.

研究の動機と目的

• 話者の言語理解におけるスロット予測のためのトークンレベルでの複数の意図情報の効果的統合の課題に対処する。
• 従来のモデルが単一で静的な意図コンテキストベクトルで全トークンを均一に扱うという制限を克服する。
• 各トークンと関連する意図の間の動的相関をモデル化することで、細分化された、アダプティブな意図情報伝達を可能にする。
• 複数意図および単一意図SLUベンチマークの両方で最先端性能を達成することで、一般化性能を向上させる。
• 2つの大規模な複数意図データセットとコードの公開を通じて、今後の研究を促進する。

提案手法

• 各トークンの隠れ状態と予測された意図埋め込みの間で動的グラフを構築するアダプティブ意図-スロットグラフインタラクション層を提案する。
• グラフアテンションネットワーク（GAT）を用いてアダプティブなアテンション重みを計算し、各トークンが関連する意図に選択的に注目できるようにする。
• スロットフィリングデコーダーにフィルタリングされた意図情報を統合し、文脈に配慮したトークン表現を実現する。
• 意図検出とスロットフィリングの両方のための統合された発話表現を抽出するために、共有の自己アテンションエンコーダを採用する。
• 意図検出とスロットフィリングのための別々のデコーダを用い、グラフモジュールを介してタスク間の相互作用を可能にする。
• 意図検出とスロットフィリングの両方のためのジョイント損失最適化を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 スロットフィリングのためのトークンレベルで、複数の意図情報をどのように効果的かつ細分化して統合できるか？
• RQ2 静的でグローバルな意図コンテキスト統合に比べ、動的でアダプティブなグラフベースのメカニズムは、複数意図SLUで優れた性能を発揮できるか？
• RQ3 提案されたフレームワークは、最先端性能を維持しつつ、単一意図SLUベンチマークにも一般化可能か？
• RQ4 モデルは、意味的関連性に基づいて、各トークンに対して適切な意図に注目する能力を学習できるか？
• RQ5 提案されたフレームワークは、実世界の複数意図SLUタスクでどの程度性能向上を達成できるか？

主な発見

• AGIFは、DSTC4、MixATIS、MixSNIPSの3つの複数意図SLUデータセットで最先端の性能を達成した。
• DSTC4ベンチマークでは、AGIFは意図検出およびスロットフィリングの両方の指標で、従来の最先端手法を顕著に上回った。
• ATISおよびSNIPSの2つの公開単一意図ベンチマークでも、新しい最先端結果を達成し、強力な一般化性能を示した。
• アテンション可視化により、モデルが各トークンに対して関連する意図に高いアテンション重みを割り当てていることが確認された。
• アブレーションスタディの結果、アダプティブグラフインタラクション層を削除すると顕著な性能低下が生じ、その重要性が裏付けられた。
• MixATISおよびMixSNIPSの2つの大規模な複数意図データセットの公開により、複数意図SLU分野の研究が加速すると予想される。