[論文レビュー] Towards Joint Intent Detection and Slot Filling via Higher-order Attention

Dongsheng Chen, Zhiqi Huang+3 more|arXiv (Cornell University)|Sep 18, 2021

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、二重線形注意ブロックを導入することで、二階微分特徴相互作用を双線形プーリングによって捉えるHigher-order Attention Networkを提案する。複数のブロックをスタックし、ELU活性化関数を適用することで、高階および無限階の相互作用を可能にし、動的特徴統合層を用いてタスク間特徴統合を強化する。実験の結果、ベンチマークSLUデータセットで最先端の性能を達成した。

ABSTRACT

Intent detection (ID) and Slot filling (SF) are two major tasks in spoken language understanding (SLU). Recently, attention mechanism has been shown to be effective in jointly optimizing these two tasks in an interactive manner. However, latest attention-based works concentrated only on the first-order attention design, while ignoring the exploration of higher-order attention mechanisms. In this paper, we propose a BiLinear attention block, which leverages bilinear pooling to simultaneously exploit both the contextual and channel-wise bilinear attention distributions to capture the second-order interactions between the input intent or slot features. Higher and even infinity order interactions are built by stacking numerous blocks and assigning Exponential Linear Unit (ELU) to blocks. Before the decoding stage, we introduce the Dynamic Feature Fusion Layer to implicitly fuse intent and slot information in a more effective way. Technically, instead of simply concatenating intent and slot features, we first compute two correlation matrices to weight on two features. Furthermore, we present Higher-order Attention Network for the SLU tasks. Experiments on two benchmark datasets show that our approach yields improvements compared with the state-of-the-art approach. We also provide discussion to demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 共同意図検出とスロットフィリングにおいて、従来の方法が第一階の注意に限定されているという制限に対処すること。
• 意図とスロット特徴間の高階相互作用を探索し、表現学習を向上させること。
• 単純な連結を超えて、意図とスロット情報を暗黙的に統合できる、より効果的な特徴統合メカニズムを設計すること。
• 新しい注意アーキテクチャを用いて、共同意図検出とスロットフィリングで最先端の性能を達成すること。

提案手法

• 第二階の特徴相互作用をモデル化するため、文脈的およびチャネル別二重線形注意分布を計算するBiLinear注意ブロックを提案する。
• 複数のBiLinearブロックをスタックし、指数型線形ユニット（ELU）活性化関数を適用することで、高階および潜在的に無限階の相互作用を可能にする。
• 意図とスロット特徴をデコーディングの前に重みづけする2つの相関行列を計算する動的特徴統合層を導入し、単純な連結を置き換える。
• パラメータ効率の良い方法で入力特徴間のクロスモード的依存関係を捉えるために、二重線形プーリングを用いる。
• エンドツーエンドの方法で意図検出とスロットフィリングを同時に最適化できるネットワークを設計する。
• 動的注意メカニズムを用いて、両タスク間で関連する特徴に動的に注目し、表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 高階注意メカニズムは、第一階の注意を超えて、共同意図検出とスロットフィリングを改善できるか？
• RQ2 第二階の特徴相互作用をモデル化することで、SLUタスクにおける表現学習はどのように向上するか？
• RQ3 動的特徴統合は、単純な連結に比べて意図とスロット特徴の統合において優れているか？
• RQ4 ELU活性化関数を用いたBiLinearブロックのスタックは、SLU表現におけるより深い相互作用を効果的にモデル化できるか？
• RQ5 標準的なSLUベンチマークにおいて、提案手法は最先端のアプローチと比較して優れているか？

主な発見

• 提案されたHigher-order Attention Networkは、2つのベンチマークSLUデータセットで最先端の性能を達成した。
• BiLinear注意ブロックは、意図とスロット特徴間の第二階相互作用を捉えることで、特徴表現を著しく改善した。
• 動的特徴統合層は、意図とスロット特徴の適応的かつ相関に基づく重みづけを学習することで、モデル性能を向上させた。
• 複数のBiLinearブロックをELU活性化関数とともにスタックすることで、複雑な高階依存関係のモデル化が向上した。
• 単一の第一階注意メカニズムに依存する従来の注意ベースのアプローチに比べ、本手法は優れた性能を示した。
• 実験結果は、二重線形プーリングと動的統合の有効性を示しており、共同意図検出とスロットフィリングの精度向上に寄与した。