[論文レビュー] SLIM: Explicit Slot-Intent Mapping with BERT for Joint Multi-Intent Detection and Slot Filling

Fengyu Cai, Wanhao Zhou+2 more|arXiv (Cornell University)|Aug 26, 2021

Software Engineering Research被引用数 7

ひとこと要約

SLIMは、BERTを用いた一括した複数意図検出とスロット埋め込みフレームワークを提案し、スロットと意図の多対一関係を明示的にモデル化するスロット-意図分類器を導入する。3つの公開マルチインテントデータセットにおいて最先端の性能を達成し、従来手法よりも最大7.6%高い意味的フレームワーク正確性を実現する。これは、スロットレベルの意図マッピングを明示的に学習することで達成される。

ABSTRACT

Utterance-level intent detection and token-level slot filling are two key tasks for natural language understanding (NLU) in task-oriented systems. Most existing approaches assume that only a single intent exists in an utterance. However, there are often multiple intents within an utterance in real-life scenarios. In this paper, we propose a multi-intent NLU framework, called SLIM, to jointly learn multi-intent detection and slot filling based on BERT. To fully exploit the existing annotation data and capture the interactions between slots and intents, SLIM introduces an explicit slot-intent classifier to learn the many-to-one mapping between slots and intents. Empirical results on three public multi-intent datasets demonstrate (1) the superior performance of SLIM compared to the current state-of-the-art for NLU with multiple intents and (2) the benefits obtained from the slot-intent classifier.

研究の動機と目的

• 現行のNLUモデルが1つの発話に対して1つの意図を仮定しているが、現実世界では複数意図の発話が一般的であるという制限に対処する。
• 従来の研究でしばしば無視されているが、既存のアノテーションを活用し、スロットとその対応する意図との間のマッピングを明示的にモデル化する。
• BERTの上位に専用のスロット-意図分類器を導入することで、複数意図検出とスロット埋め込みの統合的性能を向上させる。
• 明示的なスロット-意図マッピングが、複数意図NLUタスクにおけるより速い収束とより良い一般化性能をもたらすことを示す。

提案手法

• 入力発話の文脈的表現としてBERTを共有エンコーダーとして使用し、[CLS]および[SEP]トークンを用いて系列分類を行う。
• 複数の発話レベルの意図を予測するため、シグモイドベースの意図分類器を採用し、意図検出をマルチラベル分類タスクとして扱う。
• トークンレベルのスロット埋め込みのため、ソフトマックスベースのスロット分類器を適用し、BERTからのトークン表現を用いてスロットラベルを予測する。
• 各スロットごとに意図ラベルを予測する、新しいスロット-意図分類器を導入し、スロットレベルの意図マッピングを明示的にモデル化する。
• スロットレベルの意図予測を用いてスロット表現を精緻化する、意図制約付きアテンションを実装し、特徴学習を強化する。
• スロット埋め込み損失を意図およびスロット-意図分類器損失の2倍に重み付けした、エンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 スロットとその対応する意図の関係を明示的にモデル化することで、複数意図検出とスロット埋め込みの統合的性能が向上するか？
• RQ2 スロット-意図分類器の導入が、複数意図NLUタスクにおけるより速い収束とより良い一般化性能をもたらすか？
• RQ3 提案された意図制約付きアテンション機構は、スロットおよび意図の表現学習にどのように影響するか？
• RQ4 SLIMは、現実世界およびシミュレートされた複数意図データセットにおいて、既存の最先端モデルをどの程度上回るか？

主な発見

• SLIMは、MixATIS、MixSNIPS、DSTC4の3つの公開マルチインテントデータセットにおいて、最先端の性能を達成し、従来のSOTAモデルを上回る。
• MixATISおよびMixSNIPSでは、前回SOTA（AGIF）比でそれぞれ3.1%および7.6%高い意味的フレームワーク正確性を達成し、優れた統合予測能力を示す。
• 現実世界のDSTC4データセットでは、2つの強力なベースライン比でスロットF1が3.5%および4.7%向上し、トークンレベルのスロット予測において優れた性能を示す。
• アブレーションスタディの結果、スロット-意図分類器を削除するとスロットF1が最も悪化し、意図制約付きアテンションを削除すると意図正確性（Intent Acc）が最も悪化するため、各コンponentの明確な役割が確認された。
• トレーニング曲線の結果、SLIMは簡略化されたバージョンよりも速く収束し、より高い性能に到達しており、提案されたコンponentの有効性が裏付けられた。