[論文レビュー] Joint Multiple Intent Detection and Slot Filling via Self-distillation

Lisong Chen, Peilin Zhou+1 more|arXiv (Cornell University)|Aug 18, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿では、複数の意図検出を弱教師付きの複数インスタンス学習（MIL）問題として定式化し、意図とスロット予測の間で双方向の知識移転を可能にする三段階デコーダー補助ループ（初期スロットデコーダー、MIL意図デコーダー、最終スロットデコーダー）を備えた自己蒸留連合NLUモデルSDJNを提案する。この手法は、2つの公開マルチインテンションデータセットで最先端の性能を達成し、強力なベースライン比でMixATISでは全体の正確性を3.8%、MixSNIPSでは1.5%向上した。

ABSTRACT

Intent detection and slot filling are two main tasks in natural language understanding (NLU) for identifying users' needs from their utterances. These two tasks are highly related and often trained jointly. However, most previous works assume that each utterance only corresponds to one intent, ignoring the fact that a user utterance in many cases could include multiple intents. In this paper, we propose a novel Self-Distillation Joint NLU model (SDJN) for multi-intent NLU. First, we formulate multiple intent detection as a weakly supervised problem and approach with multiple instance learning (MIL). Then, we design an auxiliary loop via self-distillation with three orderly arranged decoders: Initial Slot Decoder, MIL Intent Decoder, and Final Slot Decoder. The output of each decoder will serve as auxiliary information for the next decoder. With the auxiliary knowledge provided by the MIL Intent Decoder, we set Final Slot Decoder as the teacher model that imparts knowledge back to Initial Slot Decoder to complete the loop. The auxiliary loop enables intents and slots to guide mutually in-depth and further boost the overall NLU performance. Experimental results on two public multi-intent datasets indicate that our model achieves strong performance compared to others.

研究の動機と目的

• 会話システムにおける連合的マルチインテンション検出とスロット埋め込みの課題に取り組むこと。既存のモデルはしばしば1発話につき1つの意図を仮定している。
• 弱教師付きの複数インスタンス学習（MIL）を用いて、細粒度のトークンレベルの意図情報を利用することで性能を向上させること。
• 三つの順序付きデコーダー（初期スロットデコーダー、MIL意図デコーダー、最終スロットデコーダー）を備えた自己蒸留補助ループを用いて、意図とスロット予測の間で双方向の知識移転を実現すること。
• 最終層のソフトターゲットに依存するのではなく、中間レベルの監視（ヒント）を組み込むことで表現学習を強化すること。
• 相互に関連する意図-スロット依存関係を活用することで、現実世界のマルチインテンションデータセットで優れた連合NLU性能を達成すること。

提案手法

• マルチインテンション検出を弱教師付きMIL問題として定式化し、トークンをインスタンス、発話をバッグとして扱い、インスタンスレベルの意図分布を予測する。
• 三段階デコーダー補助ループ（初期スロットデコーダー、MIL意図デコーダー、最終スロットデコーダー）を導入し、各デコーダーの出力が次のデコーダーの補助的知識として機能する。
• 最終スロットデコーダーを教師モデルとして用い、ソフトターゲットまたは中間ヒントを介して知識を初期スロットデコーダーに蒸留する。
• 複数の意図が存在する状況でも効果的な、アテンションベースの集約関数を用いてトークンレベルの意図予測を統合し、発話レベルの意図ラベルを生成する。
• 温度スケーリングを用いた自己蒸留とヒントベースの知識移転を組み合わせ、中間表現学習とモデル一般化性能の向上を図る。
• スロット埋め込み、意図検出、蒸留の目的関数を統合したマルチタスク損失を最適化し、各データセットに応じてハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 トークンレベルの予測を用いて発話レベルのラベルを推定する手法として、複数の意図検出を弱教師付きMIL問題として効果的に定式化できるか？
• RQ2 三つのデコーダーからなる補助ループは、マルチインテンションNLUにおける連合的意図・スロット予測をどのように改善するか？
• RQ3 蒸留における知識源としてのソフトターゲットと中間ヒントの違いが、表現学習と性能に与える影響は何か？
• RQ4 意図とスロット予測の間で双方向の知識移転を実現することで、単方向または非相互作用の手法と比較して、全体のNLU性能が向上するか？
• RQ5 提案された自己蒸留フレームワークは、公開ベンチマークで既存のマルチインテンションNLUモデルを上回る性能を達成できるか？

主な発見

• SDJNはMixATISおよびMixSNIPSの両方ですべてのベースラインを上回り、MixATISでは全体の正確性が3.8%向上、MixSNIPSでは1.5%向上した。
• スロット埋め込みのF1スコアは、最良のベースライン（AGIF）比でMixATISで1.5%、MixSNIPSで0.2%向上し、細粒度の意図監視の利点を示した。
• MIL意図デコーダーの導入により意図検出性能が著しく向上し、初期スロットデコーダーの後続に追加することで全体の正確性が5.3%向上した。
• 蒸留における知識源としてヒントを使用した場合、温度2および4のソフトターゲットと比較して、それぞれ1.1%および1.5%高い全体の正確性を達成した。
• アブレーションスタディにより、各デコーダーが性能向上に寄与していることが確認され、蒸留を含む完全なモデルが意図とスロット予測の間で最良のバランスを達成した。
• 中間レベルの監視（ヒント）を用いた自己蒸留機構は、最終層のソフトターゲットにのみ依存する手法よりも、より強固な表現学習を実現した。