[論文レビュー] Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems

Chien-Sheng Wu, Andrea Madotto+4 more|arXiv (Cornell University)|May 21, 2019

Speech and dialogue systems参考文献 43被引用数 42

ひとこと要約

TRADEは事前定義されたオントロジーを必要とせず、ドメインを跨ぐ転送可能な対話状態を生成し、ゼロショットおよび少数ショットのドメイン適応を可能にしつつ、MultiWOZでジョイントゴールとスロットの精度を高く達成します。

ABSTRACT

Over-dependence on domain ontology and lack of knowledge sharing across domains are two practical and yet less studied problems of dialogue state tracking. Existing approaches generally fall short in tracking unknown slot values during inference and often have difficulties in adapting to new domains. In this paper, we propose a Transferable Dialogue State Generator (TRADE) that generates dialogue states from utterances using a copy mechanism, facilitating knowledge transfer when predicting (domain, slot, value) triplets not encountered during training. Our model is composed of an utterance encoder, a slot gate, and a state generator, which are shared across domains. Empirical results demonstrate that TRADE achieves state-of-the-art joint goal accuracy of 48.62% for the five domains of MultiWOZ, a human-human dialogue dataset. In addition, we show its transferring ability by simulating zero-shot and few-shot dialogue state tracking for unseen domains. TRADE achieves 60.58% joint goal accuracy in one of the zero-shot domains, and is able to adapt to few-shot cases without forgetting already trained domains.

研究の動機と目的

• 固定オントロジーを用いたDSTの課題と、ドメイン横断的な知識共有の欠如に対処する。
• 未知のスロット値の追跡を可能にし、ドメイン間で知識を転送する。
• ゼロショットおよび少数ショット適応をサポートする、オントロジーフリーのマルチドメインDST用共有モデルを開発する。

提案手法

• ドメインを跨ぐ三部構成のアーキテクチャ: 発話エンコーダ、文脈強化スロットゲート、そして状態生成器。
• ソフトゲート付きコピー機構（ポインター・ジェネレーター）により、固定語彙を超えるスロット値の生成を可能にする。
• すべての(domain, slot)ペア上での共同デコード、各ペアに開始トークンを置いて値を生成。
• 3択スロットゲート（triggered, none, dontcare）を用いて、(domain, slot)ペアが値を生じるかを決定。
• スロットゲート損失と値生成損失の加重和によるエンドツーエンド最適化。

実験結果

リサーチクエスチョン

• RQ1 共通でオントロジーフリーのモデルは、複数のドメインにまたがる対話状態を正確に追跡できるか？
• RQ2 未知のドメインへの知識転送（ゼロショット）および限られたデータでの適応（少数ショット）を、学習済みドメインを破綻させることなくどの程度行えるか？
• RQ3 ドメイン間のパラメータ共有が、マルチドメインDSTにおけるジョイントゴール精度とスロット精度にどのように影響するか？

主な発見

Dataset	Joint	Slot	Dataset (Restaurant)	Joint (Restaurant)	Slot (Restaurant)
MDBT	15.57	89.53	-	-	-
GLAD	35.57	95.44	-	-	-
GCE	36.27	98.42	60.93	95.85	-
SpanPtr	30.28	93.85	49.12	87.89	-
TRADE	48.62	96.92	65.35	93.28	-

• TRADEは、MultiWOZの5つのドメインにまたがるジョイントゴール精度48.62%およびスロット精度96.92%で最先端を達成。
• ゼロショットのタクシードメインでジョイントゴール精度60.58%を達成し、強力なドメイン横断転送を示す。
• 未知のスロットとドメインに対してゼロショットDSTをサポートし、以前に学習したドメインを忘れずに少数ショットドメインへ適応する。
• ドメイン拡張時、GEMベースのファインチューニングは、従来のファインチューニングやEWCより元のドメインの性能をより保持しつつ、新しいドメインへの適応を改善。
• MultiWOZのレストランドメインでは、オントロジーフリーの設定を完全に使用すると、TRADEのジョイント精度65.35%およびスロット精度93.28%が SpanPtr 他のベースラインを上回る。