[論文レビュー] Non-Autoregressive Dialog State Tracking

Hung Lê, Richard Socher+1 more|arXiv (Cornell University)|Feb 19, 2020

Topic Modeling参考文献 33被引用数 25

ひとこと要約

本稿では、学習された熟度スコアを用いてスロットおよびトークンレベルの依存関係をモデル化することで、並列に会話状態を共同で予測する新しいフレームワーク、非自己再帰的会話状態追跡（NADST）を提案する。この手法は、推論遅延が自己再帰的ベースラインの10倍低い一方で、MultiWOZ 2.1において最先端の共同正解率を達成した。

ABSTRACT

Recent efforts in Dialogue State Tracking (DST) for task-oriented dialogues have progressed toward open-vocabulary or generation-based approaches where the models can generate slot value candidates from the dialogue history itself. These approaches have shown good performance gain, especially in complicated dialogue domains with dynamic slot values. However, they fall short in two aspects: (1) they do not allow models to explicitly learn signals across domains and slots to detect potential dependencies among (domain, slot) pairs; and (2) existing models follow auto-regressive approaches which incur high time cost when the dialogue evolves over multiple domains and multiple turns. In this paper, we propose a novel framework of Non-Autoregressive Dialog State Tracking (NADST) which can factor in potential dependencies among domains and slots to optimize the models towards better prediction of dialogue states as a complete set rather than separate slots. In particular, the non-autoregressive nature of our method not only enables decoding in parallel to significantly reduce the latency of DST for real-time dialogue response generation, but also detect dependencies among slots at token level in addition to slot and domain level. Our empirical results show that our model achieves the state-of-the-art joint accuracy across all domains on the MultiWOZ 2.1 corpus, and the latency of our model is an order of magnitude lower than the previous state of the art as the dialogue history extends over time.

研究の動機と目的

• 複雑で多領域にまたがる会話において、自己再帰的会話状態追跡モデルの高い推論遅延を解消すること。
• ドメインおよびスロット間の依存関係を明示的にモデル化することで、共同会話状態正解率を向上させること。
• リアルタイム会話システムのための並列デコードを可能にし、性能を損なわずに実現すること。
• スロットレベルだけでなく、スロット値内のトークンレベルの依存関係もモデル化すること。
• 自己再帰的生成に依存するのを減らしながら、予測品質を維持または向上させること。

提案手法

• モデルは2段階のデコードプロセスを用いる：まず、各入力トークンの熟度スコアを予測し、それが何回コピーされて構造化されたシーケンスが作られるかを決定する。
• 熟度スコアは、会話履歴に注目し、各入力トークンが何回複製されるかを予測する最初のデコーダーによって学習される。
• 熟度スコアに基づいて生成された構造化シーケンス（スロットトークン × 熟度）が、2番目のデコーダーに供給され、すべての会話状態トークンが並列に生成される。
• 表現学習とアテンションアライメントの向上のため、スロットゲーティングと位置エンコーディングを組み込む。
• レアまたは未知語彙のスロット値を生成するためにポインタネットを用い、オープン語彙設定におけるカバレッジを向上させる。
• 熟度増強入力を用いた自己注意機構を用いて、(ドメイン, スロット)ペア間の依存関係および値内でのトークン間依存関係を明示的に捉える。

実験結果

リサーチクエスチョン

• RQ1 非自己再帰的アーキテクチャは、推論遅延を著しく低減しながら、会話状態追跡で最先端の共同正解率を達成できるか？
• RQ2 熟度スコアのモデル化が、より良い構造化シーケンス生成と (ドメイン, スロット, 値) トリオの共同予測を向上させられるか？
• RQ3 モデルはスロット値間の依存関係をスロットレベルおよびトークンレベルの両方で検出し、活用できるか？
• RQ4 性能の観点から、非自己再帰的モデルは自己再帰的ベースラインと比べて、正解率と速度の両面で優れているか？
• RQ5 スロットゲーティング、位置エンコーディング、ポインタネットといったコンponentsは、モデルの性能にどの程度寄与しているか？

主な発見

• NADSTは、MultiWOZ 2.1で66.65%の共同正解率を達成し、新たな最先端性能を記録した。
• モデルの推論遅延は、以前の最先端手法の10倍低い。このため、リアルタイムデプロイメントが可能になった。
• アブレーションスタディの結果、スロットゲーティングや位置エンコーディングを削除すると性能が10ポイント以上低下し、それらが極めて重要な役割を果たしていることが示された。
• モデルは、たとえば 'attraction-type' と 'attraction-name' の間のトークンレベル依存関係を効果的に捉えており、共同予測正解率の向上に寄与した。
• 自己注意スコアの可視化により、モデルが 'train-departure' と 'train-destination' のような意味のあるクロススロット依存関係を学習していることが確認された。
• 自己再帰的バージョンのモデルも非自己再帰的バージョンと同等の性能を示し、熟度予測の有効性が裏付けられた。