[論文レビュー] GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection

Wanwei He, Yinpei Dai+10 more|arXiv (Cornell University)|Nov 29, 2021

Topic Modeling被引用数 45

ひとこと要約

GALAXYは、会話行為予測タスクとラベルなしデータに対する一貫性正則化を通じて対話ポリシーを明示的に学習する半教師あり事前学習を導入し、In-CarおよびMultiWOZでタスク指向対話（TOD）における最先端の結果を達成します。

ABSTRACT

Pre-trained models have proved to be powerful in enhancing task-oriented dialog systems. However, current pre-training methods mainly focus on enhancing dialog understanding and generation tasks while neglecting the exploitation of dialog policy. In this paper, we propose GALAXY, a novel pre-trained dialog model that explicitly learns dialog policy from limited labeled dialogs and large-scale unlabeled dialog corpora via semi-supervised learning. Specifically, we introduce a dialog act prediction task for policy optimization during pre-training and employ a consistency regularization term to refine the learned representation with the help of unlabeled dialogs. We also implement a gating mechanism to weigh suitable unlabeled dialog samples. Empirical results show that GALAXY substantially improves the performance of task-oriented dialog systems, and achieves new state-of-the-art results on benchmark datasets: In-Car, MultiWOZ2.0 and MultiWOZ2.1, improving their end-to-end combined scores by 2.5, 5.3 and 5.5 points, respectively. We also show that GALAXY has a stronger few-shot ability than existing models under various low-resource settings.

研究の動機と目的

• 事前学習に明示的なポリシー学習を注入することによって、タスク指向対話（TOD）の改善を促す。
• ポリシー監督を可能にするため、統一された対話行為分類体系とラベル付きの UniDA データセットを開発する。
• 大規模なラベルなし対話データ（UnDial）を半教師あり学習で活用し、ポリシー表現を向上させる。
• ラベルなしサンプルをフィルタリングするゲート機構と一貫性正則化目的を提案する。
• エンドツーエンド TOD の最先端性能と強力な Few-shot 能力を実証する。

提案手法

• 理解と生成のための共有エンコーダ/デコーダを備えたバックボーンとして UniLM を用いる。
• 事前学習中にポリシー学習を監視するため、ラベル付きデータ上で対話行為（DA）予測タスクを導入する。
• 理解と生成を強化するために、応答選択と応答生成の目的を追加する。
• ラベルなしデータに対して、dropout によって撚られたサンプル間で双方向の KL 発散一貫性正則化を適用する。
• 予測されたDAのエントロピーに基づいてラベルなしサンプルの重みを調整する学習可能なゲートを実装し、ノイズの多いデータをフィルタリングする。
• 生成と（利用可能な場合は）DA supervision の両方でファインチューニングし、推論時にDA予測を組み込む。

実験結果

リサーチクエスチョン

• RQ1 事前学習中の対話ポリシーの明示的なモデリングは、エンドツーエンド TOD の性能を向上させるのか？
• RQ2 ラベルなし対話に対する一貫性正則化を伴う半教師あり事前学習は、ポリシー表現を強化するのか？
• RQ3 ポリシー関連学習のための高品質なラベルなしサンプルを選択するゲート機構の効果はどれほどか？
• RQ4 ポリシー情報を含む事前学習を用いた TOD において、低リソース（few-shot）設定でどの程度の利得が得られるか？

主な発見

Model	MultiWOZ2.0 Inform	MultiWOZ2.0 Success	MultiWOZ2.0 BLEU	MultiWOZ2.0 Comb	MultiWOZ2.1 Inform	MultiWOZ2.1 Success	MultiWOZ2.1 BLEU	MultiWOZ2.1 Comb
GALAXY	94.40	85.30	20.50	110.35	95.30	86.20	20.01	110.76
GALAXY (w/o pre-train)	93.10	81.00	18.44	105.49	93.50	81.70	18.32	105.92
UBAR	?	?	?	?	?	?	?	?
PPTOD	?	?	?	?	?	?	?	?
MinTL	?	?	?	?	?	?	?	?
DOls?	?	?	?	?	?	?	?	?
SimpleTOD	?	?	?	?	?	?	?	?
SOLOIST	?	?	?	?	?	?	?	?

• GALAXY は In-Car、MultiWOZ2.0、MultiWOZ2.1 で新しいエンドツーエンドスコアの最先端を達成した（Comb スコア：それぞれ 107.45、110.35、110.76）。
• GALAXY は Inform と Success の両方でベースラインを上回り、BLEU も高水準を維持している。これは強力なタスク完了と自然な生成を示す。
• アブレーションでは、DA目的とKL一貫性正則化が重要であり、これらを除くと性能が低下する。
• ゲート機構はノイズの多いラベルなしデータをフィルタリングすることで性能を大幅に向上させる。
• GALAXY はさまざまな低リソース設定で強力な Few-shot 性能を示す。