[論文レビュー] Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling

Jixuan Wang, Kai Wei+3 more|arXiv (Cornell University)|Dec 21, 2020

Topic Modeling参考文献 41被引用数 4

ひとこと要約

この論文では、依存解析木の祖先と品詞タグ付けのマルチタスク学習を通じて構文知識を統合することで、意図検出とスロットフィリングを同時に学習する、新しいトランスフォーマー・エンコーダー・アーキテクチャを提案する。1つのアテンションヘッドを構文的祖先の予測に特化させるとともに、品詞タグ付けと埋め込みを共有することで、事前学習を行わないモデルと比較してSNIPSとATISデータセットで最先端の性能を達成した。2つのエンコーダー層で構成され、SNIPSではF1スコアが1.59%向上、正解率が0.85%向上した。

ABSTRACT

We propose a novel Transformer encoder-based architecture with syntactical knowledge encoded for intent detection and slot filling. Specifically, we encode syntactic knowledge into the Transformer encoder by jointly training it to predict syntactic parse ancestors and part-of-speech of each token via multi-task learning. Our model is based on self-attention and feed-forward layers and does not require external syntactic information to be available at inference time. Experiments show that on two benchmark datasets, our models with only two Transformer encoder layers achieve state-of-the-art results. Compared to the previously best performed model without pre-training, our models achieve absolute F1 score and accuracy improvement of 1.59% and 0.85% for slot filling and intent detection on the SNIPS dataset, respectively. Our models also achieve absolute F1 score and accuracy improvement of 0.1% and 0.34% for slot filling and intent detection on the ATIS dataset, respectively, over the previously best performed model. Furthermore, the visualization of the self-attention weights illustrates the benefits of incorporating syntactic information during training.

研究の動機と目的

• トランスフォーマー・エンコーダー・アーキテクチャに構文知識を直接統合することで、意図検出とスロットフィリングの性能を向上させること。
• 推論時に外部の構文情報が不要になるように、トレーニング段階で構文的スーパービジョンを学習すること。
• 依存解析の祖先と品詞タグ付けの共同学習が、アテンション学習およびモデルの汎化性能に与える影響を調査すること。
• 事前学習を必要とせずに、構文的スーパービジョンがアテンションパターンとモデル性能を向上させることを実証すること。

提案手法

• モデルは、意図検出、スロットフィリング、依存解析の祖先予測、品詞タグ付けの4つのタスクを同時に学習するマルチタスク学習フレームワークを採用する。
• 専用のトランスフォーマー・エンコーダー層に、各トークンの完全な構文的先祖を依存解析ツリーを用いて予測するためのアテンションヘッドを設けている。
• NLUタスクと共有されたエンコーダー分岐により品詞タグ付けを実行し、構文的表現学習を強化している。
• 標準的なトランスフォーマー・エンコーダー層（マルチヘッド自己注意、フィードフォワードネットワーク、層正則化、残差接続）を採用している。
• 構文的スーパービジョンはトレーニング段階でのみ適用され、推論時には不要であるため、エンドツーエンドのデプロイメントが可能である。
• F1スコアと正解率を指標として、SNIPSおよびATISのベンチマークデータセットでアーキテクチャを評価した。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習による構文知識の統合によって、推論時に外部構文情報が不要な状態で、意図検出とスロットフィリングの性能が向上するか？
• RQ2 構文的先祖を予測する専用アテンションヘッドをトレーニングすることで、より良いアテンションパターンとモデル性能が得られるか？
• RQ3 構文的スーパービジョンは、トランスフォーマー・エンコーダー内のアテンション重み分布にどのように影響するか？
• RQ4 構文知識が統合された最小限のアーキテクチャ（2層のトランスフォーマー・エンコーダー）でも、最先端の結果を達成できるか？

主な発見

• SNIPSデータセットでは、以前の最良の事前学習を行わないモデルと比較して、F1スコアが1.59%絶対値で向上し、正解率も0.85%向上した。
• ATISデータセットでは、以前の最先端モデルと比較して、F1スコアが0.1%、正解率が0.34%向上した。
• アテンション重みの可視化から、構文的スーパービジョンが施されたモデルは、特に長距離依存関係において、より構造的かつ情報量の多いアテンションパターンを学習していることがわかった。
• 依存解析予測用に訓練されたアテンションヘッドは、構文的に関連する先祖に強く注目するよう学習され、文脈表現が向上した。
• アブレーションスタディの結果、依存解析と品詞タグ付けの両方のスーパービジョンが性能向上に寄与しており、特に依存解析のスーパービジョンがより強い影響を及ぼした。
• 構文的インダクティブバイアスの有効性と効率性を示しており、わずか2つのトランスフォーマー・エンコーダー層で最先端の結果を達成した。