[論文レビュー] RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems

Baolin Peng, Chunyuan Li+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 45被引用数 7

ひとこと要約

RADDLE は、低リソース設定や言語のばらつき、音声エラー、ドメイン外入力といった多様な失敗モードを重視しながら、タスク指向対話システムのロバストネスと一般化性能を評価するベンチマークおよび分析プラットフォームです。最先端モデル即ち、ロバストネスに課題を抱えることが示され、ドメインを跨いで一般化できる統合的で事前学習されたアーキテクチャの開発が求められています。

ABSTRACT

For task-oriented dialog systems to be maximally useful, it must be able to process conversations in a way that is (1) generalizable with a small number of training examples for new task domains, and (2) robust to user input in various styles, modalities or domains. In pursuit of these goals, we introduce the RADDLE benchmark, a collection of corpora and tools for evaluating the performance of models across a diverse set of domains. By including tasks with limited training data, RADDLE is designed to favor and encourage models with a strong generalization ability. RADDLE also includes a diagnostic checklist that facilitates detailed robustness analysis in aspects such as language variations, speech errors, unseen entities, and out-of-domain utterances. We evaluate recent state-of-the-art systems based on pre-training and fine-tuning, and find that grounded pre-training on heterogeneous dialog corpora performs better than training a separate model per domain. Overall, existing models are less than satisfactory in robustness evaluation, which suggests opportunities for future improvement.

研究の動機と目的

• ラベル付きデータが限られた低リソースの現実世界のシナリオで、対話システムを評価できるベンチマークの不足に対処すること。
• 言語のばらつき、音声エラー、未知のエンティティ、ドメイン外発話に対するモデルのロバストネスを体系的かつ評価可能にするための基盤を提供すること。
• 共通の評価プラットフォームと診断データセットを通じて、統合的かつ一般化可能なモデルの開発を支援すること。
• 上位の提出物に対して人間による評価を含むオンラインランクイングを通じて、対話システム研究の進展を追跡すること。

提案手法

• RADDLE は、DSTC-8、DSTC-9、Reddit、Twitter など多様なソースからのタスク指向対話コーパスを統合したマルチドメインベンチマークを導入し、現実世界の分布シフトを模擬する。
• 言語のばらつき、音声エラー、未知のエンティティ、ドメイン外入力の各カテゴリをカバーする 10,000 件を超える人間によるアノテーション付き診断評価データセットを統合する。
• ドメインごとに 10～50 件のラベル付き例しか与えられない低ショット学習設定下での評価をサポートし、一般化能力をテストする。
• 自動評価指標（例：ジョイントゴール精度、OOD検出の F1 スコア）と人間評価を併用して、実世界での性能を評価する。
• 異種の対話データをドメインを跨いで統合的に学習できる統一された事前学習目的関数を採用し、転移性を向上させる。
• オンライン評価プラットフォームにより、モデルの提出、比較、および上位システムの隔月ごとの人間評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き例が非常に少ない状況下で、事前学習モデルは新しいドメインにどの程度一般化できるか？
• RQ2 ゼロショットまたはフェイシュット設定下で、モデルは言語のばらつき、音声エラー、未知のエンティティをどの程度処理できるか？
• RQ3 限られたデータで学習された場合、モデルのドメイン外発話検出性能はどのように変動するか？
• RQ4 ロバストネスのシナリオにおいて、自動評価と人間の判断の間にはどの程度のギャップが生じるか？
• RQ5 統合的でマルチドメインの事前学習は、ドメイン固有の微調整に比べ、ロバストネスと一般化性能の面で優れているか？

主な発見

• 異種の対話コーパスに基づく基礎的学習は、ドメインごとに別々に学習する手法に比べ、データが少ない状況下でも一般化性能を顕著に向上させる。
• 最高性能を示したモデルである Soloist でさえ、未知のエンティティに対しては 69.05% のジョイントゴール精度にとどまり、語彙外語に対するロバストネスが低いことが示された。
• ドメイン固有のデータで微調整した GPT-2（GPT-2_FT）は、'Day' スロットを正しく追跡できず、未知の時間的エンティティに対する推論能力の限界を示した。
• 50% のデータで学習した場合、Reddit や Twitter といった異種ドメインにおいて、Soloist は GPT-2_FT よりも OOD 検出の F1 スコアで 20 ポints 以上優れていた。
• 10% のデータでの学習時においても、Soloist は GPT-2_FT よりも OOD 検出で 3 ポイント高い F1 スコアを達成し、より優れたデータ効率性を示した。
• コーパス評価と人間評価との間に顕著な性能低下が観察された。特に事前学習モデルにおいて、ノイズや異常入力に対して感受性が高いことが示された。