[論文レビュー] Multi-lingual Intent Detection and Slot Filling in a Joint BERT-based Model

Giuseppe Castellucci, Valentina Bellomaria+2 more|arXiv (Cornell University)|Jul 5, 2019

Topic Modeling参考文献 28被引用数 55

ひとこと要約

本論文は Bert-Joint を提案し、BERT ベースの多言語結合モデルを用いて同時に意図検出とスロット填充を実現し、ATIS と SNIPS で最先端の結果を達成するとともに、新しい SLU データセットを通じてイタリア語への適用を拡張している。

ABSTRACT

Intent Detection and Slot Filling are two pillar tasks in Spoken Natural Language Understanding. Common approaches adopt joint Deep Learning architectures in attention-based recurrent frameworks. In this work, we aim at exploiting the success of "recurrence-less" models for these tasks. We introduce Bert-Joint, i.e., a multi-lingual joint text classification and sequence labeling framework. The experimental evaluation over two well-known English benchmarks demonstrates the strong performances that can be obtained with this model, even when few annotated data is available. Moreover, we annotated a new dataset for the Italian language, and we observed similar performances without the need for changing the model.

研究の動機と目的

• 共同言語理解タスクを動機づける: SLU における意図検出とスロット填充の効率と精度を向上させる。
• 文レベルの意図とトークンレベルのスロットをモデル化するための再帰を用いない、BERT ベースの結合フレームワークを提案する。
• 限られたデータおよび多言語環境で、結合損失を用いた共同学習が性能を改善することを示す。

提案手法

• 共有表現の上に、文レベルの意図分類器とトークンレベルのスロットラベラーを追加して BERT を拡張する。
• 意図には [CLS] の最終隠れ状態を、スロット予測には各トークンの最終隠れ状態を用いる。
• L = alpha * L_c + beta * L_o の結合損失で共同訓練し、BERT の全パラメータと分類器パラメータを更新する。
• ドロップアウト、Adam オプティマイザ、そして小さな学習率スケジュールを用いて 5–50 エポックでファインチューニングし、評価には標準の SLU データセットを使用する。

実験結果

リサーチクエスチョン

• RQ1 単一の BERT ベースのモデルが、統一された損失関数で意図検出とスロット填充を同時に最適化できるか？
• RQ2 結合モデリングは INTENT のみ・SLOT のみの別個の BERT ベースラインを上回るか、標準の英語 SLU ベンチマークで？
• RQ3 低データ領域および多言語データ（イタリア語を含む）で結合アプローチは有効か？
• RQ4 多言語トレーニング設定は英語とイタリア語の SLU データセットの性能にどう影響するか？

主な発見

システム	スロット (ATIS)	インテント (ATIS)	文 (ATIS)	スロット (SNIPS)	インテント (SNIPS)	文 (SNIPS)
Joint Seq	0.957	0.978	0.882	0.962	0.990	0.916
Attention BiRNN	0.942	0.911	0.789	0.878	0.967	0.741
IntentCapsNet	-	0.948	-	-	0.974	-
Capsule-NLU	0.952	0.950	0.834	0.918	0.977	0.809
Slot-Gated FA Goo2018	0.948	0.936	0.822	0.888	0.970	0.755
Slot-Gated IA Goo2018	0.952	0.941	0.826	0.883	0.968	0.746
Slot-Gated FA †	0.951	0.953	0.844	0.970	0.790	-
Slot-Gated IA †	0.948	0.951	0.824	0.881	0.973	0.769
Bert-Intent	-	0.971	-	-	0.977	-
Bert-Slot	0.954	-	-	0.959	-	-
Bert-Joint	0.957	0.978	0.882	0.962	0.990	0.916

• Bert-Joint は ATIS および SNIPS で文の正確度とスロットの F1 において最先端の結果を達成し、別個の Bert-Intent および Bert-Slot のベースラインを上回る。
• 結合学習は ID と SF の両方で有意な改善をもたらし、文レベルの正解性（intent+slots）で顕著な改善を示す。
• 低データ環境では、Bert-Joint は非結合ベースラインに対して相対的な改善が大きく、特に意図検出で顕著である。
• イタリア語の SLU データセット（SLU-IT）では Bert-Joint が高い性能を維持し、イタリア語で非結合ベースラインを上回る。
• 多言語訓練（EN+IT）はイタリア語の改善をもたらし、英語への大きな劣化はなく、文レベルの正確度を向上させる。