[論文レビュー] Toward Scalable Neural Dialogue State Tracking Model

Elnaz Nouri, Ehsan Hosseini-Asl|arXiv (Cornell University)|Dec 3, 2018

Topic Modeling参考文献 9被引用数 20

ひとこと要約

本論文では、スロットタイプ埋め込みで条件づけられた1つのグローバル再帰ネットワークにスロット固有の再帰ネットワークを置き換えることで、ニューラル対話状態追跡における遅延を低減するグローバルに条件づけられたエンコーダー（GCE）モデルを提案する。このモデルは、単一およびマルチドメインのベンチマークで最先端の性能を達成しており、GLADモデルと比較して平均で35％のトレーニングおよび推論遅延を削減している。また、Multi-WoZデータセットにおいても、ジョイントゴール精度およびターンリクエスト精度が向上している。

ABSTRACT

The latency in the current neural based dialogue state tracking models prohibits them from being used efficiently for deployment in production systems, albeit their highly accurate performance. This paper proposes a new scalable and accurate neural dialogue state tracking model, based on the recently proposed Global-Local Self-Attention encoder (GLAD) model by Zhong et al. which uses global modules to share parameters between estimators for different types (called slots) of dialogue states, and uses local modules to learn slot-specific features. By using only one recurrent networks with global conditioning, compared to (1 + \# slots) recurrent networks with global and local conditioning used in the GLAD model, our proposed model reduces the latency in training and inference times by $35\%$ on average, while preserving performance of belief state tracking, by $97.38\%$ on turn request and $88.51\%$ on joint goal and accuracy. Evaluation on Multi-domain dataset (Multi-WoZ) also demonstrates that our model outperforms GLAD on turn inform and joint goal accuracy.

研究の動機と目的

• 最先端のニューラル対話状態追跡モデルにおける高い遅延を低減し、生産環境での導入を妨げる要因を解消すること。
• GLADで用いられるスロット固有の再帰ネットワークを排除することで、シーケンスモデリングにおける計算複雑度を低減すること。
• 推論およびトレーニング時間を顕著に短縮しながら、追跡精度を維持または向上させること。
• 改善されたアーキテクチャをマルチドメイン対話状態追跡のシナリオに一般化すること。

提案手法

• GLADにおけるスロット固有の再帰および自己注意ネットワークを、スロットタイプ埋め込みで条件づけられた1つの共有再帰ネットワークに置き換える。
• すべてのスロットにわたってパラメータを共有するグローバルに条件づけられたエンコーダーを用いて、ユーザー発話およびシステムアクションの表現を計算する。
• 発話表現とスロット値候補との類似度スコアを計算するために、アテンションメカニズムを用いる。
• ユーザー発話およびシステムアクションベースのスコアを学習可能な重み付き和で結合し、シグモイド関数で正規化する。
• スロット値予測タスクにおけるクロスエントロピー損失を用いて、モデルをエンドツーエンドでトレーニングする。
• アーキテクチャの変更なしに、単一ドメイン（WoZ）およびマルチドメイン（Multi-WoZ）の両設定に同じアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 スロット固有のエンコーダーを複数個ではなく、1つのグローバルに条件づけられた再帰エンコーダーで置き換えても、追跡精度に悪影響を及げないか？
• RQ2 グローバルなパラメータ共有は、ニューラル対話状態追跡におけるトレーニングおよび推論遅延をどの程度低減できるか？
• RQ3 提案されたモデルは、マルチドメイン対話状態追跡ベンチマークに効果的に一般化できるか？
• RQ4 ジョイントゴールおよびターンレベルの精度の観点から、GLADと比較して、提案モデルの性能はどの程度か？

主な発見

• WoZデータセットにおいて、GCEモデルは88.51％のジョイントゴール精度および97.38％のターンリクエスト精度を達成し、GLAD（88.1％および97.1％）をわずかに上回った。
• トレーニング時間は平均で35％削減され、推論時間も35％削減された。バッチ処理時間は、トレーニング中に1.78秒から1.16秒に低下した。
• Multi-WoZデータセットでは、GCEモデルはターンインフォーム精度を67.88％（GLADは66.89％）まで向上させ、ジョイントゴール精度を35.58％（GLADは35.57％）まで向上させた。
• GCEモデルは、スロット間でのパラメータ共有によりモデルの複雑さを低減しながらも、高い性能を維持した。
• ドメイン固有の変更なしに、マルチドメイン設定への一般化が示された。