[論文レビュー] A Dynamic Graph Interactive Framework with Label-Semantic Injection for Spoken Language Understanding

Zhihong Zhu, Weiyuan Xu+3 more|arXiv (Cornell University)|Nov 8, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、発話理解における連合的多意図検出とスロットフィリングのための、ラベル意味表現を統合した動的グラフインタラクティブフレームワークDGIFを提案する。発話表現に意図およびスロットラベルの意味表現を統合し、各トークンごとに関連する意図情報を動的にフィルタリングするマルチグレインインタラクティブグラフを構築することで、MixATISデータセットにおいて前回の最良モデル比で全体精度が13.7%相対的に向上した。

ABSTRACT

Multi-intent detection and slot filling joint models are gaining increasing traction since they are closer to complicated real-world scenarios. However, existing approaches (1) focus on identifying implicit correlations between utterances and one-hot encoded labels in both tasks while ignoring explicit label characteristics; (2) directly incorporate multi-intent information for each token, which could lead to incorrect slot prediction due to the introduction of irrelevant intent. In this paper, we propose a framework termed DGIF, which first leverages the semantic information of labels to give the model additional signals and enriched priors. Then, a multi-grain interactive graph is constructed to model correlations between intents and slots. Specifically, we propose a novel approach to construct the interactive graph based on the injection of label semantics, which can automatically update the graph to better alleviate error propagation. Experimental results show that our framework significantly outperforms existing approaches, obtaining a relative improvement of 13.7% over the previous best model on the MixATIS dataset in overall accuracy.

研究の動機と目的

• 従来のモデルがワンホットエンコーディングされたラベルに依存し、明示的なラベル意味を無視するという制限を解消すること。
• スロットフィリングにおいて全トークンに一様に多意図情報を統合することで生じる誤差伝搬を軽減すること。
• 発話語の単語とラベル語の間の意味的類似性を活用することで、多意図検出とスロットフィリングの連合的パフォーマンスを向上させること。
• 高信頼性でトークン固有の意図-スロット相関を捉える動的で適応的なグラフ機構を開発すること。
• ラベルに依存する正則化と意味表現の統合を通じて、意図とスロット予測の一般化性能と整合性を向上させること。

提案手法

• 文とラベル表現を別々に処理する2つの独立したBERTエンコーダーを用い、文法的差異を保持する。
• ヒルバート空間における最良近似を用い、ラベル基本ベクトルの線形結合により、ラベル意味を発話表現に統合する。
• 意図空間およびスロット空間内でのラベル間の意味的依存関係をモデル化するため、ラベルに依存する正則化を適用する。
• 各トークンに対して意味的整合性に基づき関連する意図を動的に選択するマルチグレインインタラクティブグラフを構築する。
• アテンションメカニズムに基づいてエッジ重みを更新する学習可能なグラフインタラクション層を採用し、各トークンに対して不要な意図信号をフィルタリングする。
• 意図検出とスロットフィリングを同時に最適化できるマルチタスク学習方式を用いてモデルを訓練する。

Fig. 1 : Utterance with multiple intents ( red ) and slots ( blue ).

実験結果

リサーチクエスチョン

• RQ1 発話表現に明示的なラベル意味を統合することで、連合的多意図検出とスロットフィリングのパフォーマンスが向上するか？
• RQ2 ノイズと誤差伝搬を低減する観点で、動的でトークン固有の意図統合と、静的でグローバルな意図統合の違いは何か？
• RQ3 ラベルに依存する正則化は、意図およびスロットラベル間の意味的依存関係のモデリングにどの程度寄与するか？
• RQ4 提案された動的グラフインタラクション機構は、静的アテンションや固定グラフ構造と比較して、より正確で頑健な意図-スロット整合性を実現するか？
• RQ5 MixATISやMixSNIPSといった公開の多意図SLUベンチマークで、本フレームワークは既存の最先端モデルを上回る性能を示せるか？

主な発見

• DGIFはMixATISデータセットにおいて、前回の最良モデル比で全体精度が13.7%相対的に向上し、顕著な性能向上を示した。
• アブレーションスタディの結果、ラベル意味の統合を削除すると全体精度が3.4%低下し、その重要性が確認された。
• ラベルに依存する正則化を除去すると、意図精度が2.1%低下し、スロットF1が0.6%低下した。これは、ラベル空間の意味的構造をモデル化する有効性を示している。
• 通常のアテンションに動的グラフインタラクション層を置き換えると、全体精度が5.3%低下した。これは、適応的でトークン固有の意図フィルタリングの利点を示している。
• アテンション重みの可視化により、DGIFが関連する意図（例：'GetWeather'）を意味的に関連するスロット（例：'forecast', 'cold'）と正しく一致させていることが確認された。これに対して、従来のモデルは同様の一致を達成できなかった。
• RoBERTa-baseではなくBERT-baseを用いても、DGIFはRoBERTaベースのベースラインを上回った。これは、アーキテクチャがラベル意味を効果的に活用することで、表現品質の劣化を補っていることを示唆している。

Fig. 2 : The architecture of DGIF . Two BERT encoders will encode both the utterance ( § 2.1 ) and labels ( § 2.2 ). Sentence-level representation $r^{u}$ and token-level representation $h_{*}$ will be injected with label semantics in respective space ( § 2.3 ) and interact in § 2.4 . $\checkmark$ d