[論文レビュー] A Co-Interactive Transformer for Joint Slot Filling and Intent Detection

Libo Qin, Tailu Liu+4 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 29被引用数 11

ひとこと要約

本稿では、共通のインタラクティブなアテンションメカニズムを通じて、意図検出とスロットフィリングの間で双方向的かつ相互に影響を与えることを明示的にモデル化するCo-Interactive Transformerを提案する。このモデルは、タスク間アテンションを活用することで、先行手法を上回る性能を発揮する。SNIPSおよびATISベンチマークにおいて最先端の性能を達成しており、BERTを統合することでさらなる向上が得られる。

ABSTRACT

Intent detection and slot filling are two main tasks for building a spoken language understanding (SLU) system. The two tasks are closely related and the information of one task can be utilized in the other task. Previous studies either model the two tasks separately or only consider the single information flow from intent to slot. None of the prior approaches model the bidirectional connection between the two tasks simultaneously. In this paper, we propose a Co-Interactive Transformer to consider the cross-impact between the two tasks. Instead of adopting the self-attention mechanism in vanilla Transformer, we propose a co-interactive module to consider the cross-impact by building a bidirectional connection between the two related tasks. In addition, the proposed co-interactive module can be stacked to incrementally enhance each other with mutual features. The experimental results on two public datasets (SNIPS and ATIS) show that our model achieves the state-of-the-art performance with considerable improvements (+3.4% and +0.9% on overall acc). Extensive experiments empirically verify that our model successfully captures the mutual interaction knowledge.

研究の動機と目的

• 先行の共同モデルが意図検出からスロットフィリングへの情報フローを単方向にしかモデル化しない、あるいはパラメータを暗黙的に共有するという制限を是正する。
• 統一されたフレームワーク内で、意図検出とスロットフィリングの間の双方向的かつ相互的な影響を明示的にモデル化する。
• スロットと意図の表現が互いの意味情報を参照できるようにすることで、性能を向上させる。
• アブレーションおよび比較研究を通じて、明示的な相互作用の有効性を実証する。

提案手法

• 入力シーケンスの文脈に適した隠れ状態を生成するために、共有のBiLSTMエンコーダーを使用する。
• 各ラベルクラスのための学習済み埋め込み行列を用いて、明示的な意図およびスロット表現を取得するため、ラベルアテンション層を適用する。
• コアとなる共通インタラクティブモジュールは、自己アテンションを二重アテンション機構に置き換える。意図表現がスロット表現を問い合わせ、逆にスロット表現が意図表現を問い合わせることで、双方向的相互作用を実現する。
• 共通インタラクティブアテンション層により、各タスクが相手タスクの関連情報を参照できるようになり、相互作用の影響を明示的にモデル化する。
• 共通インタラクティブ層の後にフィードフォワードネットワークを適用し、さらに意味情報を暗黙的に統合する。
• モデルは、共有エンコーダーとしてBERTを統合することでさらに向上し、両ベンチマークでの性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 意図検出とスロットフィリングの間で明示的な双方向的相互作用を導入することで、単方向的または暗黙的な手法と比較して、共同性能が向上するか？
• RQ2 明示的な意図およびスロット表現の導入が、モデル性能に与える影響は何か？
• RQ3 自己アテンションを共通インタラクティブアテンション機構に置き換えることで、標準アテンションや共有パラメータモデルと比較して、より良い結果が得られるか？
• RQ4 提案されたフレームワークは、既存の最先端モデルと比較して、共同意図およびスロット検出において優れているか？

主な発見

• Co-Interactive Transformerは、SNIPSおよびATISの両データセットで最先端の性能を達成しており、すべての先行ベースラインを上回る。
• BERT統合モデルは、新たな最先端の結果を達成し、それまで最も高い性能を示していたStack-Propagation + BERTをも上回った。
• アブレーションスタディの結果、意図またはスロットアテンション層を削除すると性能が低下し、明示的表現の重要性が確認された。
• 共通インタラクティブ層を自己アテンション（相互作用を暗黙的にモデル化）に置き換えると性能が低下し、明示的な双方向アテンションの利点が裏付けられた。
• 双方向接続は、意図からスロットへの単方向およびスロットから意図への単方向設定を上回り、相互強化が優れていることを示した。