[論文レビュー] Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering

Li Zhou, Kevin Small|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 29被引用数 58

ひとこと要約

本論文は、マルチドメイン対話状態追跡を質問応答タスク(DSTQA)としてモデル化し、双方向アテンションネットワークと動的に進化する知識グラフを用いてドメイン–スロットの関係を捉え、MultiWOZ 2.0/2.1で最先端の結果を達成し、強力なドメイン適応を示している。

ABSTRACT

Multi-domain dialogue state tracking (DST) is a critical component for conversational AI systems. The domain ontology (i.e., specification of domains, slots, and values) of a conversational AI system is generally incomplete, making the capability for DST models to generalize to new slots, values, and domains during inference imperative. In this paper, we propose to model multi-domain DST as a question answering problem, referred to as Dialogue State Tracking via Question Answering (DSTQA). Within DSTQA, each turn generates a question asking for the value of a (domain, slot) pair, thus making it naturally extensible to unseen domains, slots, and values. Additionally, we use a dynamically-evolving knowledge graph to explicitly learn relationships between (domain, slot) pairs. Our model has a 5.80% and 12.21% relative improvement over the current state-of-the-art model on MultiWOZ 2.0 and MultiWOZ 2.1 datasets, respectively. Additionally, our model consistently outperforms the state-of-the-art model in domain adaptation settings. (Code is released at https://github.com/alexa/dstqa )

研究の動機と目的

• 堅牢なマルチドメインDSTが未見のドメイン・スロット・値へ一般化する必要性を動機づける。
• DSTモデルを、DSTをドメイン・スロット・値の三重項についての質問に答えることとして扱う。
• 動的に進化する知識グラフを導入し、ドメイン–スロットペアと値の間の関係を符号化する。
• DSTQAが標準ベンチマークおよびドメイン適応設定で従来手法より状態追跡性能を向上させることを示す。

提案手法

• 各（ドメイン、スロット）ペアについて、利用可能な場合には値を取り入れた質問集合 Q_{d,s} を構築する。
• 対話文脈を各質問と関連づける双方向アテンションフローを用い、文脈特化・値特化の埋め込みを生成する。
• 文脈・質問対応埋め込みに対して二項スコアリング機構を用いて値を予測する、または大規模・無限の値集合を持つスロットについてはスパンを予測する。
• ドメイン–スロットノードと値ノードを伴う動的知識グラフを導入し、グラフアテンションがターン間・ドメイン間で情報を伝播させる。
• 対話文脈に応じてグラフ情報の流れを制御するゲーティング機構を介して、予測へグラフ埋め込みを注入する。
• 必要に応じて時間関連スロットのスパンラベルを取得するようデータセットを前処理し、適切な場合にはスパンベースの予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DSTをQAタスクとして効果的にモデル化し、未見のドメイン・スロット・値へ一般化できるか？
• RQ2 ドメイン–スロット/値の関係を捉える動的知識グラフを組み込むとDSTの性能は向上するか？
• RQ3 対話文脈とスロット/値の質問間の双方向アテンションは精度にどのように影響するか？
• RQ4 大規模または未知値セットを持つスロットに対して、スパンベースと値ベースの予測の影響はどうか？
• RQ5 提案手法はターゲットドメインデータが限定的なドメイン適応シナリオへどれだけ移行できるか？

主な発見

データセット	モデル	結合	スロット
MultiWOZ 2.0	DSTQA w/span	51.36	97.22
MultiWOZ 2.0	-graph	50.89	97.17
MultiWOZ 2.0	-gating	50.38	97.14
MultiWOZ 2.0	-bi att +avg	49.74	97.11
MultiWOZ 2.0	-bi att	49.51	97.07
MultiWOZ 2.0	-ELMo +GloVe	49.52	96.96
MultiWOZ 2.0	DSTQA w/o span	51.44	97.24
MultiWOZ 2.0	-ELMo +GloVe	50.81	97.19
MultiWOZ 2.1	TRADE	45.60	-
MultiWOZ 2.1	DSTQA w/span	49.67	97.10
MultiWOZ 2.1	-graph	49.48	97.05
MultiWOZ 2.1	-ELMo +GloVe	48.15	96.98
MultiWOZ 2.1	DSTQA w/o span	51.17	97.21
MultiWOZ 2.1	-ELMo +GloVe	50.03	97.12

• DSTQA w/span は MultiWOZ 2.0 で 51.36 (Joint) および 97.22 (Slot) を達成し、TRADE を含むいくつかのベースラインを上回る。
• DSTQA w/o span は MultiWOZ 2.0 で 51.44 (Joint) および 97.24 (Slot) を達成し、時間関連の値を列挙する際の強力な性能を示す。
• MultiWOZ 2.1 では、DSTQA w/span が 49.67 (Joint) および 97.10 (Slot) を達成し、TRADE を顕著に上回る；DSTQA w/o span は 51.17 (Joint) および 97.21 (Slot) 。
• アブレーション研究では、グラフコンポーネントまたはゲーティング機構を削除すると結合精度が低下し、動的知識グラフとゲート付き統合の利点を裏付けている。
• モデルは強力なドメイン適応を示し、複数ドメインに渡る限定的なターゲットドメインデータでファインチューニングした場合にベースラインを常に上回る。
• アブレーションは双方向アテンションと文脈埋め込み（ELMo） が性能に意味のある寄与をすることを示す。