[論文レビュー] TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue

Chien-Sheng Wu, Steven C. H. Hoi+2 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling被引用数 47

ひとこと要約

TOD-BERTは、ユーザー/システムのトークンと応答対比目的を伴う9つのタスク指向対話コーパスで事前学習を行い、4つの下流タスクを改善し、BERTや他のベースラインに対して少数ショットでの顕著な利得を示す。

ABSTRACT

The underlying difference of linguistic patterns between general text and task-oriented dialogue makes existing pre-trained language models less useful in practice. In this work, we unify nine human-human and multi-turn task-oriented dialogue datasets for language modeling. To better model dialogue behavior during pre-training, we incorporate user and system tokens into the masked language modeling. We propose a contrastive objective function to simulate the response selection task. Our pre-trained task-oriented dialogue BERT (TOD-BERT) outperforms strong baselines like BERT on four downstream task-oriented dialogue applications, including intention recognition, dialogue state tracking, dialogue act prediction, and response selection. We also show that TOD-BERT has a stronger few-shot ability that can mitigate the data scarcity problem for task-oriented dialogue.

研究の動機と目的

• 会話文と一般テキストの差異に対処することで、タスク指向対話における堅牢な言語理解を促進する。
• 対話に焦点を当てたBERT系を事前学習するために、9つのタスク指向対話データセットを統合する。
• 対話構造を捉えるために、ユーザー/システムトークンと応答対比目的を組み込む。
• TOD-BERTの主要な下流タスクでの改善と少数ショット能力を示す。

提案手法

• 対話シーケンスにおけるユーザー発話とシステム発話をモデル化するため、BERTに2つの特殊トークン [USR] と [SYS] を拡張する。
• 応答選択を模倣するため、マスク付き言語モデリング（MLM）と応答対比損失（RCL）の結合目的で事前学習する。
• RCLにはデュアルエンコーダー方式を用い、バッチ内の他の応答をネガティブとして扱い、正しい文脈-応答類似度を最大化する。
• 9データセットから60ドメインにまたがる100kの対話（1.4M発話）で TOD-BERT を訓練し、BERT-base uncased から初期化する。
• 同じアーキテクチャと同等のハイパーパラメータで下流タスクに合わせて TOD-BERT をファインチューニングし、公平な比較を行う。

実験結果

リサーチクエスチョン

• RQ1 統一された対話コーパスでのタスク指向対話の事前学習は、BERT のような汎用の事前学習モデルより言語理解を向上させることができるか？
• RQ2 ユーザー/システムトークンの組み込みと明示的な応答選択目的が対話タスクの表現をより良くするか？
• RQ3 主要なタスク指向対話タスク全般で、低リソース（少数ショット）設定における TOD-BERT の性能はどうなるか？
• RQ4 意図認識、DST、対話行為予測、応答選択など、さまざまな下流タスクにおいて TOD-BERT は有益か？

主な発見

• TOD-BERT は、意図認識、対話状態追跡、対話行為予測、および応答選択の4つの下流タスクで、BERT や GPT-2、DialoGPT などのベースラインを上回る。
• 結合 MLM と応答対比学習（ TOD-BERT-jnt ）は、MLM のみの TOD-BERT（ TOD-BERT-mlm ）より強い表現を生み出す。
• TOD-BERT は顕著な少数ショットの利得を示し、意図認識と DST において 1-shot および 10-shot 設定で大幅な精度向上を達成。
• 検証では、TOD-BERT-jnt が最高の線形プローブ性能を達成し、タスク関連表現がより豊かであることを示唆。
• TOD-BERT はデータセット横断およびドメイン横断の性能優位性を提供し、少数ショット環境で明らかな利点を示す。