[論文レビュー] A Scope Sensitive and Result Attentive Model for Multi-Intent Spoken Language Understanding

Lizhi Cheng, Wenmian Yang+1 more|arXiv (Cornell University)|Nov 22, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、多意図スプoken言語理解（SLU）のためのスコープセンシティブリザルトアテンションネットワーク（SSRAN）を提案する。SSRANは、意図関連トークンに注目するスコープレコgnイザと、意図検出とスロットフィリングの間で双方向の精練を可能にするリザルトアテンションネットワークを用い、誤り伝搬を低減する。SSRANは、先行手法と比較して2つの公開データセットで全体的な正確性をそれぞれ5.4%および2.1%向上させ、最先端の性能を達成した。

ABSTRACT

Multi-Intent Spoken Language Understanding (SLU), a novel and more complex scenario of SLU, is attracting increasing attention. Unlike traditional SLU, each intent in this scenario has its specific scope. Semantic information outside the scope even hinders the prediction, which tremendously increases the difficulty of intent detection. More seriously, guiding slot filling with these inaccurate intent labels suffers error propagation problems, resulting in unsatisfied overall performance. To solve these challenges, in this paper, we propose a novel Scope-Sensitive Result Attention Network (SSRAN) based on Transformer, which contains a Scope Recognizer (SR) and a Result Attention Network (RAN). Scope Recognizer assignments scope information to each token, reducing the distraction of out-of-scope tokens. Result Attention Network effectively utilizes the bidirectional interaction between results of slot filling and intent detection, mitigating the error propagation problem. Experiments on two public datasets indicate that our model significantly improves SLU performance (5.4\% and 2.1\% on Overall accuracy) over the state-of-the-art baseline.

研究の動機と目的

• 多意図スプoken言語理解における意図検出の課題に対処すること。ここでの課題は、スコープ外の意味的情報が性能を妨げることにある。
• スロットフィリング中に不正確な意図検出ラベルが原因で生じる誤り伝搬を軽減すること。
• 両者の結果間の双方向的相互作用を通じて、意図検出とスロットフィリングの共同性能を向上させること。
• 意図数予測とスロットチャンキングの補助タスクを用いて、モデルの頑健性と一般化能力を向上させること。

提案手法

• スコープレコグナイザ（SR）は、初期の意図およびスロット予測結果に基づいてスコープ重み付き行列を計算し、各意図のスコープ内にあるトークンに注目し、スコープ外の干渉要因を抑制する。
• リザルトアテンションネットワーク（RAN）は、自己アテンションを用いて意図検出とスロットフィリングの結果間の双方向的依存関係をモデル化し、両タスクを同時に精錬する。
• RANからの結果意味ベクトルとスコープセンシティブな隠れ状態を統合し、最終的な予測を改善する。
• 多タスク学習を促進するため、補助タスクとして意図数予測（INP）とスロットチャンキングタスク（SCT）を導入する。
• RoBERTa、BERT、XLNetなどの事前学習エンコーダと互換性があり、これらをモデルの初期化に使用する。
• 意図予測にはトップ-k選択戦略を採用し、固定しきい値法よりも頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多意図スプoken発話において、各意図のスコープを効果的に特定し、スコープ外のコンテンツからの干渉を低減するには、どのようなアプローチが有効か？
• RQ2 意図検出とスロットフィリングの結果間の双方向的相互作用は、多意図SLUにおける誤り伝搬をどの程度軽減できるか？
• RQ3 意図数予測やスロットチャンキングといった補助タスクは、意図検出とスロットフィリングの共同性能を向上させることができるか？
• RQ4 本稿で提案するモデルは、異なるデータセットにおいて、全体的な正確性および頑健性の観点から、最先端のベースラインと比較してどのように差をつけるか？

主な発見

• SSRANは、SOTAベースラインであるGL-GINと比較して、MixATISデータセットで5.4%の絶対的向上、MixSNIPSデータセットで2.1%の向上を達成した。
• INP結果を用いたトップ-k選択戦略により、MixATISでは意図検出正確性が78.1%に向上し、MixSNIPSでは98.5%に達し、真値に近づいた。
• 固定しきい値を用いた場合でも、GL-GINを上回る性能を示しており、本モデルの優れた頑健性と一般化能力を裏付けている。
• SSRANは、さまざまな事前学習エンコーダと組み合わせても強力な性能を維持し、XLNetと組み合わせた場合、MixATISで55.3%、MixSNIPSで85.6%の全体的正確性を達成した。
• 可視化により、スコープ重み付き行列が関連するトークン（例：'airport' は 'atis_airport' に対して）に高いアテンションを割り当てており、誤分類を低減していることが確認された。
• 事例研究では、SSRANはすべてのスロットと意図を正しく予測した一方、GL-GINはスコープのずれと誤り伝搬のため失敗した。