[論文レビュー] ToD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogues

Chien-Sheng Wu, Steven C. H. Hoi+2 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling参考文献 40被引用数 53

ひとこと要約

ToD-BERT は、9つの公開済みの複数スパンで人間同士のタスク指向対話データセットを微調整することで、対話システムにおけるデータ不足問題に対処する事前学習言語モデルです。4つの下流のタスク指向NLPタスクにおいて BERT や強力なベースラインを上回り、少数-shot一般化性能が優れており、データ不足問題を効果的に軽減しています。

ABSTRACT

The use of pre-trained language models has emerged as a promising direction for improving dialogue systems. However, the underlying difference of linguistic patterns between conversational data and general text makes the existing pre-trained language models not as effective as they have been shown to be. Recently, there are some pre-training approaches based on open-domain dialogues, leveraging large-scale social media data such as Twitter or Reddit. Pre-training for task-oriented dialogues, on the other hand, is rarely discussed because of the long-standing and crucial data scarcity problem. In this work, we combine nine English-based, human-human, multi-turn and publicly available task-oriented dialogue datasets to conduct language model pre-training. The experimental results show that our pre-trained task-oriented dialogue BERT (ToD-BERT) surpasses BERT and other strong baselines in four downstream task-oriented dialogue applications, including intention detection, dialogue state tracking, dialogue act prediction, and response selection. Moreover, in the simulated limited data experiments, we show that ToD-BERT has stronger few-shot capacity that can mitigate the data scarcity problem in task-oriented dialogues.

研究の動機と目的

• 大規模で公開済みの対話データセットを活用することで、タスク指向対話システムにおけるデータ不足問題を解決すること。
• 一般向けの事前学習モデル（例：BERT）は、言語的差異のためタスク指向対話では効果が低いという制限を克服すること。
• タスク指向対話の言語的パターンに特化した、専用の事前学習モデルを開発し、下流タスクのパフォーマンスを向上させること。
• 低リソースの対話シナリオにおける大規模なアノテート済みデータセットへの依存を減らすために、モデルの少数ショット学習能力を実証すること。

提案手法

• 9つの英語ベースの複数スパンで人間同士のタスク指向対話データセットを統合し、統一された事前学習コーパスを作成した。
• マスク言語モデルと次の文予測の目的関数を用いて、この選別済みの対話コーパス上で BERT アーキテクチャを微調整した。
• さまざまなドメインをカバーする多様な対話データを活用し、タスク指向会話の言語的パターンを捉えた。
• 会話固有の文脈とターン単位の構造に適応した、標準的な事前学習目的（MLM と NSP）を適用した。
• 4つの下流のタスク指向対話タスク（意図検出、対話状態追跡、対話アクティビティ予測、応答選択）で、得られた ToD-BERT モデルを評価した。
• 模擬的な低リソース実験を実施し、ベースラインモデルと比較して少数ショット一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 多様で公開済みのタスク指向対話データで微調整された事前学習言語モデルは、一般向けモデル（例：BERT）よりも、下流のタスク指向対話タスクで優れた性能を示すか？
• RQ2 ToD-BERT は、少数ショット学習能力の向上により、低リソースの対話シナリオにおけるデータ不足問題をどの程度軽減できるか？
• RQ3 タスク指向対話データでの事前学習は、意図検出、対話状態追跡、対話アクティビティ予測、応答選択のパフォーマンスをどのように向上させるか？
• RQ4 タスク指向対話の言語的特異性は、一般ドメインの事前学習ではなく、ドメイン特化の事前学習を必要とするのか？

主な発見

• ToD-BERT は、4つの下流タスク（意図検出、対話状態追跡、対話アクティビティ予測、応答選択）において、BERT や他の強力なベースラインをすべて上回った。
• 模擬的な低データ環境下でも、ToD-BERT はより優れた少数ショット一般化を示しており、タスク指向対話システムにおけるデータ不足問題の軽減効果が裏付けられた。
• ドメイン特化された対話パターンでの事前学習のおかげで、評価済みのタスク指向対話ベンチマークで最先端のパフォーマンスを達成した。
• 事前学習段階で多様で多ドメインの複数スパン対話データを統合することで、モデルのタスク指向対話構造の理解力が著しく向上した。
• 結果から、タスク指向対話ではドメイン特化の事前学習が有益であることが確認された。これは、こうした対話の言語的・構造的特徴をよりよく捉えるからである。
• ToD-BERT の性能向上は、複数の評価タスクにわたり一貫しており、さまざまな対話応用に耐性があり、汎用性が高いことが示された。