[論文レビュー] DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue

Shikib Mehri, Mihail Eric+1 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 27被引用数 97

ひとこと要約

DialoGLUEは、4つのNLUタスクにまたがる7つの対話データセットの公的ベンチマークを導入し、ConvBERTとタスク適応型学習によって改善を示す強力なベースラインを提供します。

ABSTRACT

A long-standing goal of task-oriented dialogue research is the ability to flexibly adapt dialogue models to new domains. To progress research in this direction, we introduce DialoGLUE (Dialogue Language Understanding Evaluation), a public benchmark consisting of 7 task-oriented dialogue datasets covering 4 distinct natural language understanding tasks, designed to encourage dialogue research in representation-based transfer, domain adaptation, and sample-efficient task learning. We release several strong baseline models, demonstrating performance improvements over a vanilla BERT architecture and state-of-the-art results on 5 out of 7 tasks, by pre-training on a large open-domain dialogue corpus and task-adaptive self-supervised training. Through the DialoGLUE benchmark, the baseline methods, and our evaluation scripts, we hope to facilitate progress towards the goal of developing more general task-oriented dialogue models.

研究の動機と目的

• 複数のドメインとデータセットにまたがるタスク指向対話モデルの一般化を動機づけ、実現する。
• 標準化された評価ベンチマークと公開可能なベースラインおよびリーダーボードリソースを提供する。
• オープンドメイン対話の事前学習とタスク適応型自己教師付き学習がタスク指向タスクへの転移に有効であることを示す。

提案手法

• タスク指向対話の中で4つのNLUタスクにわたる7つのデータセットからなる公的ベンチマーク（DialoGLUE）を構築する。
• 意図予測、スロット充填、意味解析、対話状態追跡のためのBERTライクなエンコーダに基づくアーキテクチャを実装する。
• 大規模オープンドメイン対話コーパス（≈700M件の会話）でBERTを微調整してConvBERTを作成する。
• ターゲットデータセット上でマスク化言語モデリングを用いたタスク適応訓練を適用し、事前訓練とマルチタスクを含める。
• 4つのモデルバリアント（BERT, ConvBERT, BERT-DG, ConvBERT-DG）を4つの設定の下で評価する（直接ファインチューニング、MLM事前訓練、MLMマルチタスキング、および両方）。
• 公開評価スクリプトとEvalAI上のリーダーボードを提供し、オープンソースコードとベースラインを公開する。）

実験結果

リサーチクエスチョン

• RQ1 DialoGLUEのような標準化されたマルチタスクベンチマークは、汎用的で転移に適したタスク指向対話モデルの進展を促すことができるか。
• RQ2 大規模なオープンドメイン対話の事前学習とタスク適応型自己教師付き学習は、多様な対話理解タスクの性能を改善するか。
• RQ3 異なる事前学習とファインチューニング戦略（事前訓練、マルチタスキング、またはその両方）が、意図、スロット充填、意味解析、対話状態追跡の性能にどう影響するか。
• RQ4 複数のDialoGLUEデータセットで訓練した場合、クロスタスクの転移が測定可能か。
• RQ5 少数ショットデータ設定が自己教師付き学習と転移学習アプローチの有効性に与える影響は何か。

主な発見

• DialoGLUEは、公開されたベースラインとともに、7つのデータセットと4つのタスクにわたる挑戦的で標準化されたベンチマークを提供します。
• ConvBERT with task-adaptive trainingは、7つのタスク中5つで最先端の結果に匹敵するか超え、MultiWOZにおいて前任の最良モデルと比較して顕著な +2.98 のジョイントゴール精度を達成します。
• Task-adaptive self-supervised trainingとオープンドメイン対話の事前訓練を組み合わせると、DialoGLUEタスク全体で総合的な利得を生むが、利得はタスク依存である。
• Self-supervised training on a broad DialoGLUE data mix can help in few-shot settings, with notable improvements on MultiWOZ and dialogue-state-tracking tasks.
• In some tasks (TOP and DSTC8), specialized architectures outperform general encoders, indicating room for task-specific adaptations.
• Overall, the combination of ConvBERT and task-adaptive training provides the strongest aggregate performance across the benchmark.