[論文レビュー] Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection

Momchil Hardalov, Ivan Koychev+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling被引用数 11

ひとこと要約

本稿では、BERTとRoBERTaに意図プーリング注意メカニズム、語レベル特徴（カase、NER）、および意図ガイドドスロット表現を組み合わせた、意図検出とスロット埋め込みを統合するTransformer-NLUを提案する。このモデルは、スロットF1と意図正答率においてSNIPSで55%以上、ATISで5%以上の誤差低減を達成し、最先端の性能を発揮した。

ABSTRACT

Detecting the user's intent and finding the corresponding slots among the utterance's words are important tasks in natural language understanding. Their interconnected nature makes their joint modeling a standard part of training such models. Moreover, data scarceness and specialized vocabularies pose additional challenges. Recently, the advances in pre-trained language models, namely contextualized models such as ELMo and BERT have revolutionized the field by tapping the potential of training very large models with just a few steps of fine-tuning on a task-specific dataset. Here, we leverage such models, namely BERT and RoBERTa, and we design a novel architecture on top of them. Moreover, we propose an intent pooling attention mechanism, and we reinforce the slot filling task by fusing intent distributions, word features, and token representations. The experimental results on standard datasets show that our model outperforms both the current non-BERT state of the art as well as some stronger BERT-based baselines.

研究の動機と目的

• 限られたラベル付きデータと専門的な語彙を有する低リソースNLUタスクの課題に対処すること。
• 標準的な微調整を超えて事前学習済み言語モデルを活用することで、統合的意図分類とスロット埋め込みの性能を向上させること。
• 明示的な特徴（カase、NER）と予測された意図分布をガイドとして用いることで、スロット埋め込みの性能を向上させること。
• 事前学習モデルに保持される暗黙の知識がNLUタスクにどのように関連するかを調査すること。
• [CLS]トークンよりも効果的なプーリング機構を、意図表現に用いること。

提案手法

• 最後のBERT/RoBERTa層からのすべてのトークン表現の重み付き和を計算する意図プーリング注意レイヤーを導入し、[CLS]トークンへの依存を排除する。
• 各トークンに対して、真のカaseと名前付きエンティティ認識（NER）予測を含む語レベル特徴を抽出する。
• 予測された意図分布、BERT/RoBERTaの最終隠れ状態、および語レベル特徴を統合したスロット埋め込みレイヤーに統合する。
• ラベルの依存関係をモデル化するために、スロット予測ヘッドの上にCRFレイヤーを適用する。
• 意図分類とスロットタグの両方の損失関数を用いて、ATISおよびSNIPSデータセット上でモデルをエンドツーエンドで訓練する。
• 各コンポonentの寄与を隔離するためにアブレーションスタディを実施する。

(a) BERT-Joint.

実験結果

リサーチクエスチョン

• RQ1 [CLS]トークンよりも効果的な意図表現が、統合的意図認識とスロット埋め込みの性能向上に寄与するか。
• RQ2 語固有の特徴（カase、NER）を組み込むことで、スロット埋め込みの正答率はどの程度向上するか。
• RQ3 予測された意図分布をガイドとして用いることで、スロットタグの性能はどの程度向上するか。
• RQ4 強力なBERTベースのベースラインおよび非BERTベースのベースラインと比較して、強化されたモデルは標準的なNLUベンチマークで優れた性能を発揮するか。
• RQ5 BERTやRoBERTaのような事前学習モデルに、NLUタスクに特有の関連知識がどのようにエンコードされているか。

主な発見

• ATISでは97.87%の意図正答率、SNIPSでは98.86%の意図正答率を達成し、従来の非BERT最先端手法を顕著に上回った。
• SNIPSデータセットでは、スロットF1において前人最高の手法比で55%以上の誤差低減を達成し、F1は96.57%に到達した。
• ATISでは、スロットF1の相対誤差低減率が13.66%に達し、F1は96.25%に到達した。
• RoBERTaとCRFレイヤーの使用は性能向上に寄与しなかったことから、提案された強化手法がアーキテクチャの変更よりもはるかに効果的であることが示された。
• 意図プーリング機構と特徴統合が、特に低リソース設定において性能向上に顕著な貢献をした。
• 事前学習モデルに、意図とスロット検出に有用な大量の暗黙の知識が保持されていることが示され、構造的強化によってその知識を効果的に活用できることが明らかになった。

(b) Transformer-NLU (ours).