[論文レビュー] A Dual Prompt Learning Framework for Few-Shot Dialogue State Tracking

Yuting Yang, Wenqiang Lei+4 more|arXiv (Cornell University)|Jan 15, 2022

Speech and dialogue systems被引用数 7

ひとこと要約

本稿では、スロットと値の生成を二重のタスクとして扱い、事前学習言語モデルを活用する二重プロンプト学習フレームワークを、少数の例での対話状態追跡（DST）に提案する。低リソースDSTベンチマークで最先端の性能を達成し、事前に定義されたスロットオントロジーに依存せずに未学習のスロットを生成できる。

ABSTRACT

Dialogue state tracking (DST) module is an important component for task-oriented dialog systems to understand users' goals and needs. Collecting dialogue state labels including slots and values can be costly, especially with the wide application of dialogue systems in more and more new-rising domains. In this paper, we focus on how to utilize the language understanding and generation ability of pre-trained language models for DST. We design a dual prompt learning framework for few-shot DST. Specifically, we consider the learning of slot generation and value generation as dual tasks, and two prompts are designed based on such a dual structure to incorporate task-related knowledge of these two tasks respectively. In this way, the DST task can be formulated as a language modeling task efficiently under few-shot settings. Experimental results on two task-oriented dialogue datasets show that the proposed method not only outperforms existing state-of-the-art few-shot methods, but also can generate unseen slots. It indicates that DST-related knowledge can be probed from PLM and utilized to address low-resource DST efficiently with the help of prompt learning.

研究の動機と目的

• 対話状態ラベルの高コストなアノテーションによる低リソースDSTの課題に対処すること。
• ドメインの類似性や事前に定義されたスロットオントロジーに依存する既存の少数の例でのDST手法の限界を克服すること。
• スロットタイプや大量の訓練データに対する事前の知識なしに、未学習のスロットと値の生成を可能にすること。
• 事前学習言語モデルからタスク固有の知識をプロンプト学習によって抽出・活用する可能性を検討すること。
• 二重プロンプト設計によりDSTを統一的な言語モデリングタスクに定式化し、少数の例での一般化性能を向上させること。

提案手法

• スロット生成を誘導するための値プロンプト（値と対話履歴を条件としてスロットを生成）と、値生成を誘導するためのスロットプロンプト（スロットを条件として値を生成）の2つの異なるプロンプトを設計する。
• スロット生成を誘導するための値プロンプト関数を、"[value] belief states: [dialogue history]" のようなテンプレートを用いて構築する。
• 値生成を誘導するためのスロットプロンプト関数を、"[slot] belief states: [dialogue history]" のようなテンプレートを用いて構築する。
• 両方のプロンプト学習タスクを重み付き損失で統合したマルチタスク学習目的関数を用いて、モデルをエンドツーエンドで訓練する。
• バックボーンとして事前学習言語モデル（例：RoBERTa）を用い、二重プロンプト信号でファインチューニングする。
• 推論時、まず値候補を生成し、それらをもとに値プロンプトを構築して対応するスロットを予測する。

実験結果

リサーチクエスチョン

• RQ1 プロンプト学習は、事前学習言語モデルから少数の例での対話状態追跡に知識を効果的に転送できるか？
• RQ2 スロットと値の生成を別々だが相互に依存するタスクとして扱う二重プロンプトフレームワークは、少数の例でのDST性能を向上させられるか？
• RQ3 モデルは、訓練データや事前に定義されたスロットオントロジーに存在しないスロットと値をどの程度生成できるか？
• RQ4 スロットと値のプロンプト監視のバランスがモデル性能に与える影響はどの程度か？
• RQ5 低リソース設定において、二重プロンプト設計は単一プロンプトやsequence-to-sequence生成ベースラインを上回るか？

主な発見

• 提案された二重プロンプト学習フレームワークは、少数の例設定下で2つのベンチマーク対話指向会話データセットにおいて最先端の性能を達成した。
• モデルは、1%の訓練データのような低データ環境でも、既存の少数の例でのDST手法を一貫して上回った。
• フレームワークは、元のドメインや事前に定義されたオントロジーに存在しない未学習のスロットに対しても、対話状態を効果的に生成できた。
• アブレーションスタディの結果、スロットプロンプトは有用な補助信号として機能し、その損失重みを0.1に設定した際に最適な性能を示した。
• 実験により、二重プロンプト設計が、単一プロンプトや標準的なファインチューニングアプローチよりも、低リソースDSTにおいて優れた一般化性能を実現することが確認された。