[論文レビュー] Zero-shot Generalization in Dialog State Tracking through Generative Question Answering

S. X. Li, Jin Cao+5 more|arXiv (Cornell University)|Jan 20, 2021

Topic Modeling参考文献 46被引用数 5

ひとこと要約

本論文は、固定オントロジーに依存せず、条件付き言語モデルを用いて自然言語クエリに対する回答を生成する、オントロジーフリーの生成的質問応答フレームワークを提案する。このフレームワークにより、未観測のドメイン、スロット、値に対してもゼロショット一般化が可能となり、MultiWOZ 2.1でSOTAのゼロショット共同目標精度を達成し、従来手法比で最大9%の絶対的向上を達成した。

ABSTRACT

Dialog State Tracking (DST), an integral part of modern dialog systems, aims to track user preferences and constraints (slots) in task-oriented dialogs. In real-world settings with constantly changing services, DST systems must generalize to new domains and unseen slot types. Existing methods for DST do not generalize well to new slot names and many require known ontologies of slot types and values for inference. We introduce a novel ontology-free framework that supports natural language queries for unseen constraints and slots in multi-domain task-oriented dialogs. Our approach is based on generative question-answering using a conditional language model pre-trained on substantive English sentences. Our model improves joint goal accuracy in zero-shot domain adaptation settings by up to 9% (absolute) over the previous state-of-the-art on the MultiWOZ 2.1 dataset.

研究の動機と目的

• 未観測のドメイン、スロットタイプ、値に対するゼロショット一般化の課題に対処すること。
• 固定オントロジーに依存しないように、任意のユーザー要件を自然言語クエリで表現可能にする。
• 言語モデルの一般化能力と少数ショットの転移学習を活用し、ゼロショット設定におけるDST性能を向上させること。
• 再トレーニングやオントロジーの更新なしに、柔軟で拡張可能なスロットクエリを可能にすること。
• 動的なサービスや進化する要件を伴う実世界の対話システムにおける堅牢性とスケーラビリティを示すこと。

提案手法

• モデルはDSTを生成的質問応答タスクとして扱い、各スロットは自然言語クエリ（例：「ホテルの価格帯はどれですか？」）で問い合わせる。
• 多様なテキストで事前学習された条件付き言語モデルを用い、対話履歴に基づいてスロット値を生成することで、未観測スロットに対してもゼロショット推論を可能にする。
• 推論時に任意の自然言語クエリをサポートし、スロット名や値の事前露出なしに動的クエリが可能になる。
• 数値および時系列値のランキングを改善するために、対照的損失を用いて微調整することで、スロット予測の精度を向上させる。
• トレーニング中にスロットの継続予測を組み込むことで、対話の各ターン間での文脈保持を向上させる。
• より大規模かつ多様なデータセット（例：DSTC8）を用いた転移学習により、ドメインをまたいでゼロショット性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定オントロジーにアクセスできない状況でも、未観測のドメインやスロットタイプに一般化できるか？
• RQ2 事前学習済み言語モデルを用いた生成的QAアプローチは、ゼロショットDSTにおいてどの程度効果的か？
• RQ3 スロット継続予測とデータ拡張は、DSTにおけるゼロショット一般化をどの程度向上できるか？
• RQ4 自然言語クエリが、固定スロットテンプレートの代わりにDSTで使用可能であり、精度を維持または向上できるか？
• RQ5 従来の教師ありベースラインやSOTA手法と比較して、モデルはゼロショット設定でどの程度の性能を示すか？

主な発見

• 提案手法は、MultiWOZ 2.1データセットにおけるゼロショットドメイン適応において、従来SOTA比で9%の絶対的向上を達成した。
• ゼロショット設定下で、すべてのドメインにおいて平均して5.9%のドメイン別共同精度向上を達成した。
• 微調整なしでSOTAの教師あり手法と同等の性能を示し、ターゲットドメインでの微調整なしに強力な一般化能力を示した。
• スロット継続予測を組み込むことで、ゼロショットDST性能が向上し、従来SOTA比で共同精度が11%向上した。
• 再トレーニングやオントロジーの更新なしに、「インターネット接続」や新しいホテル名などの未観測スロット名や値に対しても、効果的に一般化できた。
• DSTC8からのドメイン内読解データ（例：「名前」や「価格帯」など意味的に類似したスロット）を用いたデータ拡張により、スロットの曖昧解消が向上した。