[論文レビュー] AugESC: Dialogue Augmentation with Large Language Models for Emotional Support Conversation

Chujie Zheng, Sahand Sabour+3 more|arXiv (Cornell University)|Feb 26, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、ファインチューニングされた大規模言語モデル（LLM）を用いて感情的サポート会話（ESC）のための大規模な対話拡張フレームワーク、AugESCを提案する。対話拡張を対話完了タスクとして扱うことで、短い投稿から高品質で多様な対話を生成し、ESConvデータセットの規模（45倍）とトピックカバレッジを顕著に拡大した。人的評価により、AugESCの品質はクラウドソーシングデータと同等であることが確認され、それらで微調整することで、オープンドメインのトピックへの下流モデルの一般化性能が向上した。

ABSTRACT

Crowdsourced dialogue corpora are usually limited in scale and topic coverage due to the expensive cost of data curation. This would hinder the generalization of downstream dialogue models to open-domain topics. In this work, we leverage large language models for dialogue augmentation in the task of emotional support conversation (ESC). By treating dialogue augmentation as a dialogue completion task, we prompt a fine-tuned language model to complete full dialogues from available dialogue posts of various topics, which are then postprocessed based on heuristics. Applying this approach, we construct AugESC, an augmented dataset for the ESC task, which largely extends the scale and topic coverage of the crowdsourced ESConv corpus. Through comprehensive human evaluation, we demonstrate that our approach is superior to strong baselines of dialogue augmentation and that AugESC has comparable dialogue quality to the crowdsourced corpus. We also conduct human interactive evaluation and prove that post-training on AugESC improves downstream dialogue models' generalization ability to open-domain topics. These results suggest the utility of AugESC and highlight the potential of large language models in improving data-scarce dialogue generation tasks.

研究の動機と目的

• ESConvのようなクラウドソーシングされた感情的サポート対話データセットのスケールの制限とトピックカバレッジの狭さに対処すること。
• 感情的センシティブなESCタスクにおける対話データの拡張を可能にするスケーラブルで自動化された手法を開発すること。
• LLMによって生成された対話が、感情的サポートの場面において人間がキュレートしたデータと同等の品質を達成できるかどうかを評価すること。
• 拡張データで微調整することで、下流モデルのオープンドメイントピックへの一般化性能が向上することを検証すること。
• 潜在的なバイアスや有害コンテンツのリスクを踏まえ、合成データの倫理的利用を確保すること。

提案手法

• 既存のESConv対話サンプルを用いて6BパラメータのGPT-J言語モデルをファインチューニングし、感情的サポート対話生成に適応させる。
• ファインチューニングされたLLMに、EmpatheticDialoguesから収集したトピック多様性のある短い投稿から全対話を完了させるようにプロンプトを発行する。
• ヒューリスティックに基づく後処理を適用し、対話の整合性、感情的関連性、品質を保証する。
• 生成された対話と元のESConvコーパスを組み合わせることで、より広いトピックカバレッジを持つ45倍の規模のデータセットであるAugESCを構築する。
• 自動指標（PPL、BLEU、ROUGE-L、Distinct）と包括的な人的評価を用いて、対話品質とモデル一般化性能を評価する。
• 人的インタラクティブ評価を実施し、AugESCがオープンドメイン感情的サポートタスクにおける下流モデル性能向上に寄与することを検証する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースの対話拡張は、人間がキュレートしたデータと同等の品質の感情的サポート対話を生成できるか？
• RQ2 LLMによって生成された対話でESConvデータセットを拡張することで、下流対話モデルのオープンドメイントピックへの一般化性能が顕著に向上するか？
• RQ3 提案された対話完了アプローチは、既存の対話拡張ベースラインと比較して、有効性と効率性の面で優れているか？
• RQ4 AugESCで微調整した後、元のESConvテストセットにおけるドメイン内性能はどの程度保持されるか？
• RQ5 合成的でLLMによって生成された感情的サポート対話データの使用には、どのような倫理的含みがあるか？

主な発見

• 提案された対話完了アプローチは、人的評価および自動指標の両面で強力なベースラインを上回り、対話拡張における優れた有効性と効率性を示した。
• 包括的な人的評価により、AugESCは元のクラウドソーシングされたESConvコーパスと同等の対話品質を達成した。
• AugESCで微調整することで、下流対話モデルのオープンドメイントピックへの一般化性能が顕著に向上したことが、人的インタラクティブ評価で確認された。
• AugESCで微調整した後も、ESConvテストセットにおけるドメイン内性能が強く維持され、パープレキシティ（PPL）やBLEUスコアなどの自動指標において最小限の低下に抑えられた。
• 拡張されたデータセットは、元のESConvコーパスを45倍の規模に拡大し、トピックカバレッジを顕著に広げ、多様な感情的サポートシナリオの表現を可能にした。
• バイアスや有害性の潜在的リスクが存在するが、透明性のある人的評価プロトコルと研究目的限定の明確な使用制限により、AugESCの倫理的利用が支援されている。