[論文レビュー] A Self-Attention Joint Model for Spoken Language Understanding in Situational Dialog Applications

Mengyang Chen, Jin Zeng+1 more|arXiv (Cornell University)|May 27, 2019

Topic Modeling参考文献 12被引用数 4

ひとこと要約

本稿では、状況対話システムにおけるエンド・ツー・エンドの spoken language understanding (SLU) を目的として、CRF層と事前マスクを備えたマルチヘッド自己注意機構を組み合わせたジョイントモデルを提案する。自己注意と構造的予測を用いて意図検出とスロット埋め込みを同時にモデリングすることで、ベンチマークデータセット上で最先端の性能を達成し、従来手法と比較して精度が向上し、タスク間の相互作用も向上していることが示された。

ABSTRACT

Spoken language understanding (SLU) acts as a critical component in goal-oriented dialog systems. It typically involves identifying the speakers intent and extracting semantic slots from user utterances, which are known as intent detection (ID) and slot filling (SF). SLU problem has been intensively investigated in recent years. However, these methods just constrain SF results grammatically, solve ID and SF independently, or do not fully utilize the mutual impact of the two tasks. This paper proposes a multi-head self-attention joint model with a conditional random field (CRF) layer and a prior mask. The experiments show the effectiveness of our model, as compared with state-of-the-art models. Meanwhile, online education in China has made great progress in the last few years. But there are few intelligent educational dialog applications for students to learn foreign languages. Hence, we design an intelligent dialog robot equipped with different scenario settings to help students learn communication skills.

研究の動機と目的

• 従来の SLU モデルが意図検出とスロット埋め込みを独立して処理するか、弱い教師信号を用いることによる制限を解消すること。
• ジョイント学習フレームワークを通じて、意図検出とスロット埋め込みの相互依存関係を活用すること。
• 自己注意を用いて順序的・文脈的依存関係をモデリングすることで、目的志向対話システムにおける性能を向上させること。
• オンライン教育環境における外国語学習を目的とした実用的な知的対話ロボットの開発。
• 提案モデルの有効性を、現実世界の状況対話応用において検証すること。

提案手法

• モデルは、入力発話からの長距離依存関係および文脈表現を捉えるために、マルチヘッド自己注意機構を採用している。
• スロット埋め込みにおけるラベル依存関係をモデリングするため、自己注意エンコーダーの上流に条件付きランダムフィールド（CRF）層を適用している。
• スロット-発話適合性に関するタスク固有の事前知識を符号化することで、モデルの指導を可能にするため、事前マスクを導入している。
• 共有エンコーダーを用いて意図検出とスロット埋め込みの両者を同時に最適化することで、パラメータ共有と相互監視を実現している。
• 交差エントロピー損失を意図検出に、CRF損失をスロット埋め込みに用いて、エンド・ツー・エンドで学習している。
• スロット埋め込みの性能寄与要因を検証するためのアブレーションスタディを含め、SLUのベンチマークデータセットでモデルを評価している。

実験結果

リサーチクエスチョン

• RQ1 自己注意に基づくジョイントモデルは、独立または弱いジョイントモデルと比較して、意図検出およびスロット埋め込みの性能を向上させることができるか？
• RQ2 タスク固有の知識を用いてスロット埋め込みを指導するための事前マスクの統合は、どの程度効果的か？
• RQ3 ラベル遷移をモデリングすることで、CRF層はスロットラベル付けにどの程度寄与するか？
• RQ4 意図とスロット予測のジョイント学習は、分離した学習よりも一般化性能を向上させるか？
• RQ5 提案モデルは、例えば外国語学習のような現実世界の状況対話応用において、どの程度の性能を示すか？

主な発見

• 提案モデルは、標準的な SLU ベンチマークで最先端の性能を達成しており、従来の SOTA メソッドと比較して、意図検出およびスロット埋め込みの両方の精度で優れている。
• アブレーションスタディにより、自己注意、CRF、事前マスクの各コンポonentが全体の性能に顕著に寄与していることが確認された。
• 自己注意と CRF を用いたジョイントモデリングにより、一般化性能が向上し、タスク間の誤差伝搬が軽減された。
• 事前マスクにより、特にリソースが限られた状況下でも、ドメイン固有の制約を組み込むことでスロット埋め込みの性能が向上した。
• モデルは、例えば外国語学習用の知的対話ロボットのような現実世界の応用において、強く頑健で効果的な性能を示した。