[論文レビュー] Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding

Maximillian Chen, Alexandros Papangelis+6 more|arXiv (Cornell University)|Oct 25, 2022

Speech and dialogue systems被引用数 7

ひとこと要約

本稿では、大規模言語モデルの少数-shotプロンプティングを用いて低リソースな会話理解タスク向けに高品質な会話発話生成を行う弱教師付きデータ拡張フレームワーク、WeakDAPを提案する。エントロピーに基づく不確実性スコアリングを繰り返し適用して合成データをフィルタリングすることで、元の訓練データの10%のみでモデル性能を向上させ、DailyDialogではフルショットの最先端モデルを上回り、FBTODにおける多言語的意図検出でも優れた結果を達成する。

ABSTRACT

Dialogue understanding tasks often necessitate abundant annotated data to achieve good performance and that presents challenges in low-resource settings. To alleviate this barrier, we explore few-shot data augmentation for dialogue understanding by prompting large pre-trained language models and present a novel approach that iterates on augmentation quality by applying weakly-supervised filters. We evaluate our methods on the emotion and act classification tasks in DailyDialog and the intent classification task in Facebook Multilingual Task-Oriented Dialogue. Models fine-tuned on our augmented data mixed with few-shot ground truth data are able to approach or surpass existing state-of-the-art performance on both datasets. For DailyDialog specifically, using 10% of the ground truth data we outperform the current state-of-the-art model which uses 100% of the data.

研究の動機と目的

• アノテート済みデータが乏しく、収集に費用がかかる低リソースな会話理解の課題に対処すること。
• 事前学習済み言語モデルを用いて合成会話発話を生成することで、会話分類タスクのデータ効率を向上させること。
• 弱教師付き手法を用いて、高価な人工作業を要せず、低品質または分布外のサンプルをフィルタリングすることで、生成された会話データの品質を向上させること。
• 繰り返しフィルタリングを伴う少数-shotプロンプティングが、元の訓練データのわずかな割合での最先端性能を達成できることを示すこと。
• 本手法が単語言語（DailyDialog）および多言語（FBTOD）の両方の会話理解タスクで有効であることを検証すること。

提案手法

• 大規模事前学習言語モデル（例：GPT-J）を用いたプレフィックスプロンプティングにより、会話文脈に条件づけられた新しい会話発話を生成する。
• 3つの拡張戦略を採用する：会話経路拡張（CTA）、全発話拡張（ATA）、最終発話拡張（LTA）、それぞれが文脈の使用方法が異なる。
• エントロピーに基づく弱教師付きフィルタを適用し、不確実で分類が難しい例を特定・保持することで、モデルの一般化性能を向上させる。
• フィルタは反復的に動作する：合成データを生成し、分類し、高い不確実性（高いエントロピー）を示すサンプルのみを次回のファインチューニングに保持する。
• フレームワークは、DailyDialogにおける感情分類および会話行動分類、FBTODにおける意図分類に適用され、XLMRoBERTaを用いてファインチューニングが行われる。
• 多言語拡張は、英語でプロンプトを実行し、スペイン語の訓練例を生成することで達成され、多言語モデルを用いた文脈学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの少数-shotプロンプティングは、下流の会話理解性能を向上させる高品質な会話発話を生成できるか？
• RQ2 エントロピーに基づくフィルタリングによる弱教師付き手法は、高価な人工作業を要せず、合成会話データの品質を効果的に向上させられるか？
• RQ3 実データのわずかな割合（例：10%）と合成データを組み合わせることで、フルショット学習と同等またはそれ以上の性能を達成できるか、その程度はいかほどか？
• RQ4 提案手法は、異なる会話理解タスクおよび言語（多言語設定を含む）に一般化可能か？
• RQ5 不確実で学習が難しい例の含みが、低リソース環境におけるモデルの一般化性能および頑健性に与える影響はいかほどか？

主な発見

• DailyDialogの元の訓練データの10%のみを用いても、WeakDAPは感情分類および会話行動分類の両タスクで現在のフルショット最先端モデルを上回る性能を達成した。
• WeakDAPで拡張されたデータでファインチューニングされたモデルは、元のデータの100%で訓練されたモデルと同等またはそれ以上の性能を発揮した。
• FBTODデータセットでは、英語プロンプトを用いてスペイン語の訓練例を生成する多言語拡張により、特に低データレジーム（1%、5%、10%）で意図検出性能が向上した。
• エントロピーに基づくフィルタリングは、学習が難しい例を効果的に特定・保持でき、反復学習におけるモデル一般化性能の向上に寄与した。
• 本手法はさまざまな会話理解タスクにわたって頑健であり、最小限の監視と計算コストでも有効であることが示された。
• アブレーションスタディにより、プロンプティングおよびフィルタリングの両コンponentsが不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。