[論文レビュー] An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking

Puyang Xu, Qi Hu|arXiv (Cornell University)|May 3, 2018

Speech and dialogue systems参考文献 26被引用数 19

ひとこと要約

この論文は、事前に定義された候補リストに依存せずに、発話文からスロット値を直接抽出するポインタネット（PtrNet）に基づくエンドツーエンド対話状態トラッカーを提案する。これにより、未知のスロット値の効果的な処理が可能になる。モデルはDSTC2で最先端の共同目標精度を達成するとともに、特定の特徴ドロップアウト技術により、未知値の再現率を顕著に向上させた。

ABSTRACT

We highlight a practical yet rarely discussed problem in dialogue state tracking (DST), namely handling unknown slot values. Previous approaches generally assume predefined candidate lists and thus are not designed to output unknown values, especially when the spoken language understanding (SLU) module is absent as in many end-to-end (E2E) systems. We describe in this paper an E2E architecture based on the pointer network (PtrNet) that can effectively extract unknown slot values while still obtains state-of-the-art accuracy on the standard DSTC2 benchmark. We also provide extensive empirical evidence to show that tracking unknown values can be challenging and our approach can bring significant improvement with the help of an effective feature dropout technique.

研究の動機と目的

• 包括的なドメインオントロジーが利用できない状況において、未知のスロット値を処理する実用的ではあるが未だ十分に検討されていない課題に対処すること。
• 別個のSLUモジュールを必要とせず、生の発話文から直接状態をトラッキングするエンドツーエンドアーキテクチャを構築すること。
• トレーニング中に特徴を特定的にドロップアウトする新しい技術を用いて、未知のスロット値の一般化性能と再現率を向上させること。
• 動的かつ不透明なデータベースを有する現実世界の応用において、未知の値を効果的に処理することが不可欠であることを示すこと。

提案手法

• モデルはポインタネット（PtrNet）を用いて、入力発話文シーケンスから直接スロット値を抽出し、状態トラッキングをシーケンス・トゥ・シーケンス抽出タスクとして扱う。
• PtrNetを補完するために、共同で学習される分類ヘッドを追加し、既知およびレアな値のパフォーマンスを向上させつつ、抽出能力を維持する。
• エンコーダーの隠れ状態に対して、特定の特徴ドロップアウト技術を適用し、まれまたは未知の値に関連する特徴を特にドロップアウトすることで、一般化性能を向上させる。
• 信頼度スコアやnベストリストを一切使用せず、生のテキスト（1-best ASR出力）上でエンドツーエンドに学習させることで、現実世界の展開に適したモデルを実現する。
• アーキテクチャは、DSTC2およびOOV（語彙外）パrameterを設定して未知値をシミュレートした変更版bAbIデータセット上で評価された。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された候補リストやSLUモジュールに依存せずに、エンドツーエンド対話状態トラッカーが未知のスロット値を効果的に特定できるか。
• RQ2 標準的なDSTモデルが未知のスロット値に直面した際にパフォーマンスがどのように低下するか、そしてその低下を緩和できるか。
• RQ3 特定のドロップアウトのようなトレーニング技術は、既知の値の精度を損なうことなく、未知の値の再現率を顕著に向上させることができるか。
• RQ4 提案されたハイブリッドPtrNet-分類器アーキテクチャは、標準的およびOOV設定の両方で、既存のモデルをどれほど上回るか。

主な発見

• 提案されたPtrNetベースのモデルは、標準DSTC2テストセットで72.1%という最先端の共同目標精度を達成し、候補リストやSLU出力に依存する多くの先行モデルを上回った。
• 未知の料理タイプを含む変更版DSTC2データセットでは、わずか5%の特定的ドロップアウトにより、未知値の精度が11.6%から34.4%に上昇し、3倍の改善が達成された。
• bAbIデータセットでは、特定的ドロップアウトにより、料理タイプのOOVパラメータ予測精度が86.2%から100%に、場所タイプでは74.7%から99.6%に上昇し、精度ギャップがほぼ完全に解消された。
• 特定的ドロップアウト技術は、未知値への一般化性能を顕著に向上させるとともに、既知の値のパフォーマンスを維持するため、現実世界のシナリオにおける耐障害性にとって不可欠であることが証明された。
• PtrNetと分類ヘッドを組み合わせたハイブリッドアーキテクチャは、既知および未知の値の両方で優れたパフォーマンスを発揮し、固定された候補セットに依存するモデルを上回った。