[論文レビュー] GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling

Libo Qin, Fuxuan Wei+4 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 37被引用数 8

ひとこと要約

この論文では、推論の高速化と精度向上を図るためにグローバル・ローカルグラフ相互作用ネットワークを用いた非自己回帰的モデル、GL-GINを提案する。スロット依存関係をローカルグラフで、意図-スロット相互作用をグローバルグラフでモデル化することで、2つの公開データセットにおいて自己回帰的ベースラインと比較して11.5倍高速でありながら、最先端の性能を達成した。

ABSTRACT

Multi-intent SLU can handle multiple intents in an utterance, which has attracted increasing attention. However, the state-of-the-art joint models heavily rely on autoregressive approaches, resulting in two issues: slow inference speed and information leakage. In this paper, we explore a non-autoregressive model for joint multiple intent detection and slot filling, achieving more fast and accurate. Specifically, we propose a Global-Locally Graph Interaction Network (GL-GIN) where a local slot-aware graph interaction layer is proposed to model slot dependency for alleviating uncoordinated slots problem while a global intent-slot graph interaction layer is introduced to model the interaction between multiple intents and all slots in the utterance. Experimental results on two public datasets show that our framework achieves state-of-the-art performance while being 11.5 times faster.

研究の動機と目的

• 共同複数意図検出とスロットフィリングにおける自己回帰的モデルに内在する推論速度の遅さと情報漏洩の問題を解決すること。
• 非自己回帰的系列生成における非整合スロット問題を、明示的にスロット依存関係をモデル化することで克服すること。
• 意図とスロット予測を並列でデコード可能にしつつ、構造的なグラフベースの相互作用により高い精度を維持すること。
• 事前学習モデル（例：RoBERTa）を非自己回帰フレームワークに統合し、さらなる性能向上を図ること。
• 高速な推論と高い精度を組み合わせることで、共同複数意図検出とスロットフィリングにおける新たな最先端の性能を確立すること。

提案手法

• 意図とスロット予測を共有エンコーダと二重スレッドデコーダに分離するグローバル・ローカルグラフ相互作用ネットワーク（GL-GIN）を提案する。
• 各スロット表現が他のスロットと接続されるローカルスロット認識グラフ相互作用層を導入し、順序依存関係をモデル化し、非整合な予測を低減する。
• 全トークンと複数の意図を対象にグラフを構築するグローバル意図-スロットグラフ相互作用層を設計し、文レベルの相互作用を捉える。
• 共有自己注意エンコーダにBiLSTMとマルチヘッドアテンションを組み合わせ、文脈を反映した発話表現を生成する。
• 共有エンコーダ特徴を用いて、マルチタスク学習の目的関数により意図検出とスロットフィリングを同時に最適化する。
• RoBERTaを事前学習エンコーダとして統合し、意味的表現を強化し、下流タスクの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰アーキテクチャは、並列デコードを可能にしつつ、共同複数意図検出とスロットフィリングで競争力のある性能を達成できるか？
• RQ2 ローカルスロット認識グラフ層は、非自己回帰モデルに一般的に見られる非整合スロット問題をどの程度効果的に軽減できるか？
• RQ3 トークンレベルの相互作用と比較して、グローバル意図-スロットグラフ相互作用層は、相互意図およびスロット依存関係のモデリングをどの程度向上させるか？
• RQ4 RoBERTaのような事前学習言語モデルを統合することで、非自己回帰フレームワークの性能がさらに向上するか？
• RQ5 提案されたGL-GINモデルは、公開ベンチマークにおいて、精度と推論速度の両面で既存の自己回帰的ベースラインを上回ることができるか？

主な発見

• GL-GINはMixSNIPSおよびMixATISの両データセットで最先端の性能を達成し、以前のSOTAモデルを上回った。
• 従来の自己回帰モデルAGIFと比較して、デコード速度が11.5倍高速であり、並列生成による顕著な高速化を実証した。
• ローカルスロット認識グラフ層は、非整合なスロット予測（例：B-singerの後にI-songが続く）を効果的に低減し、スロットラベルの整合性を向上させた。
• グローバル意図-スロットグラフ相互作用層により、双方向の文脈をよりよくモデル化でき、'6'を時間として、'am'を空港名として正しく予測できるようになった。
• RoBERTaでファインチューニングした場合、GL-GINは新たな最先端の性能を達成し、非自己回帰設定における事前学習表現の有効性を裏付けた。
• アブレーションスタディの結果、ローカルおよびグローバルグラフコンポーネントの両方が性能向上に寄与しており、特に長距離の意図-スロット依存関係を捉える点でグローバルグラフが顕著に有効であった。