[論文レビュー] A Sequence-to-Sequence Approach to Dialogue State Tracking

Yue Feng, Yan Wang+1 more|arXiv (Cornell University)|Nov 18, 2020

Topic Modeling参考文献 38被引用数 6

ひとこと要約

本稿では、対話履歴とスキーマ表現にBERTエンコーダーを用い、アテンション機構とポインタジェネレータを組み合わせて、意図、スロット、値を統合的にモデル化するseq2seq型の対話状態追跡手法Seq2Seq-DUを提案する。複数のベンチマークデータセット（SGD、MultiWOZ、WOZ2.0）で最先端性能を達成するとともに、未学習のスキーマに対してもゼロショット一般化を実現する。

ABSTRACT

This paper is concerned with dialogue state tracking (DST) in a task-oriented dialogue system. Building a DST module that is highly effective is still a challenging issue, although significant progresses have been made recently. This paper proposes a new approach to dialogue state tracking, referred to as Seq2Seq-DU, which formalizes DST as a sequence-to-sequence problem. Seq2Seq-DU employs two BERT-based encoders to respectively encode the utterances in the dialogue and the descriptions of schemas, an attender to calculate attentions between the utterance embeddings and the schema embeddings, and a decoder to generate pointers to represent the current state of dialogue. Seq2Seq-DU has the following advantages. It can jointly model intents, slots, and slot values; it can leverage the rich representations of utterances and schemas based on BERT; it can effectively deal with categorical and non-categorical slots, and unseen schemas. In addition, Seq2Seq-DU can also be used in the NLU (natural language understanding) module of a dialogue system. Experimental results on benchmark datasets in different settings (SGD, MultiWOZ2.2, MultiWOZ2.1, WOZ2.0, DSTC2, M2M, SNIPS, and ATIS) show that Seq2Seq-DU outperforms the existing methods.

研究の動機と目的

• タスク指向対話における効果的な対話状態追跡（DST）の課題、特に多様なスロットタイプや未学習のスキーマの処理を改善すること。
• 従来の手法が個別に扱うのに対し、意図、スロット、スロット値予測を統一的な統合モデルフレームワークに統合すること。
• 対話履歴とスキーマ記述の両方に対してBERTベースのエンコーダーを活用することで、モデルの拡張性と表現力の向上を図ること。
• 訓練データを超えた未学習のスキーマやドメインに対してもゼロショット推論を可能にし、一般化性能を向上させること。

提案手法

• 対話履歴のエンコーディングに使用するBERTベースのエンコーダーと、スキーマ記述のエンコーディングに使用する別のBERTベースのエンコーダーを用いる。
• 発話埋め込みとスキーマ埋め込みの間の相互作用を計算するためにアテンション機構を採用し、関連する意味的関係を捉える。
• 出力トークンとして、スキーマ内の特定の意図、スロット、スロット値へのポインタを生成するポインタジェネレータデコーダーを活用する。
• ポインタの系列として対話状態を生成することで、カテゴリカルおよび非カテゴリカルスロットの統合的モデリングを実現する。
• 固定ラベル予測に依存せず、ポインタジェネレータに依存することで、少数ショットおよびゼロショット推論を可能にする。
• 単一ターン理解を対話状態追跡の特殊ケースとして扱うことで、DSTおよびNLUの両方への応用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 seq2seqフレームワークは、従来の手法よりも意図、スロット、スロット値予測を統合的に効果的にモデル化できるか？
• RQ2 対話とスキーマ表現の間でクロスアテンションを有するBERTベースのモデルは、未学習のスキーマやドメインにどの程度一般化できるか？
• RQ3 ポインタジェネレータデコーダーは、カテゴリカルおよび非カテゴリカルスロットの両方を扱う際、標準的な分類または抽出ヘッドを上回る性能を示すか？
• RQ4 本モデルは、多様な対話データセットにおいて、少数ショットおよびゼロショット設定の両方で強力な性能を達成できるか？
• RQ5 対話とスキーマ表現の間のアテンション機構は、状態追跡精度をどの程度向上させるか？

主な発見

• Seq2Seq-DUはSGDで最先端の共同精度を達成し、共同精度0.578を記録。ベースラインのTRADE（0.628）やFastSGTを上回る。
• MultiWOZ2.2では、共同精度0.758を達成。前回の最先端手法DS-DST（0.706）およびTRADE（0.628）を上回る。
• WOZ2.0ではBERT-DSTを上回り、スキーマ記述が存在しないマルチターン対話でも強力な性能を示す。
• ゼロショット一般化性能が顕著である：SGDのRideSharingドメインでは未学習スキーマで共同精度0.6702を達成。Weatherドメインでは0.5792を記録し、ドメイン間転送性能が優れている。
• ATISおよびSNIPSではJoint BERTと同等の性能を示し、単一ターンNLUタスクにおける有効性を確認する。
• SGDとMultiWOZ2.2の非カテゴリカルスロットでは、それぞれ0.393および0.711の共同精度を達成し、オープンボリュームスロット値の効果的な処理を示している。