[論文レビュー] Towards Empathetic Open-domain Conversation Models: a New Benchmark and Dataset

Hannah Rashkin, Eric M. Smith+2 more|arXiv (Cornell University)|Oct 31, 2018

Topic Modeling被引用数 6

ひとこと要約

この論文では、25,000件の感情に基づいた会話からなる新しいベンチマークデータセットであるEmpatheticDialoguesを紹介し、このデータを用いたファインチューニングまたはリtrievalベースの適応によって、オープンドメイン会話モデルの共感心が顕著に向上することを示している。人間による評価では、このデータセットで訓練または適応させたモデルが、一般のインターネット会話データのみで訓練されたモデルよりも共感的と評価された応答を生成することが確認された。

ABSTRACT

One challenge for dialogue agents is recognizing feelings in the conversation partner and replying accordingly, a key communicative skill. While it is straightforward for humans to recognize and acknowledge others' feelings in a conversation, this is a significant challenge for AI systems due to the paucity of suitable publicly-available datasets for training and evaluation. This work proposes a new benchmark for empathetic dialogue generation and EmpatheticDialogues, a novel dataset of 25k conversations grounded in emotional situations. Our experiments indicate that dialogue models that use our dataset are perceived to be more empathetic by human evaluators, compared to models merely trained on large-scale Internet conversation data. We also present empirical comparisons of dialogue model adaptations for empathetic responding, leveraging existing models or datasets without requiring lengthy re-training of the full model.

研究の動機と目的

• 共感心のある会話システムを訓練および評価するための公開可能なデータセットの不足に対処すること。
• 会話における感情状態を認識し、適切に応答できる能力を測定するベンチマークを開発すること。
• 新しい感情に基づいたデータセットを用いて、既存の大規模会話モデルの共感心を向上させること。
• 完全な再訓練なしに、リtrieval やファインチューニングなどの効率的な適応戦略を検討すること。

提案手法

• 25,000件の1対1の会話をクラウドソーシングで収集し、話者は特定の感情（例：怖がっている、誇りに思っている）に結びついた個人経験を述べた。
• 各会話にはラベル付けされた感情と状況的文脈が含まれており、現実の状況に基づいた感情の根拠を明確にしている。
• 2つの適応戦略を提案した：推論時にこのデータセットの発話文をリtrievalの候補として使用すること、および事前学習済み生成モデルをこのデータセットでファインチューニングすること。
• BERTベースのモデルにおける共感心の向上を図るため、入力シーケンスの先頭に感情またはトピック予測を追加することで外部の監視を導入した。
• 自動評価指標（BLEU、P@1、P@100）と人間による評価（共感スコアのサブスコアを含む）を用いてモデルを評価した。
• 複数の設定でモデル性能を比較した：Reddit vs. EmpatheticDialoguesのリtrieval候補を使用したリtrievalベースのモデル、およびファインチューニング済み vs. ファインチューニング未実施のモデル。

実験結果

リサーチクエスチョン

• RQ1 大規模で感情に基づいた会話データセットは、オープンドメイン会話モデルの共感心を向上させることができるか？
• RQ2 EmpatheticDialoguesデータセットでファインチューニングすることで、一般のインターネット会話データのみで訓練されたモデルと比較して、より共感的な応答が得られるか？
• RQ3 このデータセットの発話文をリtrievalの候補として使用するリtrievalベースの適応は、完全なファインチューニングなしで共感心を向上させることができるか？
• RQ4 感情またはトピック予測を外部監視として追加することで、高容量モデルにおける共感心にどのような影響を与えるか？
• RQ5 EmpatheticDialoguesでのファインチューニングによる改善効果は、DailyDialog や Reddit などの他の会話データセットに対しても一般化されるか？

主な発見

• 人間の評価者により、EmpatheticDialoguesでファインチューニングされたモデルは、Reddit や一般のインターネット会話データのみで訓練されたモデルよりも顕著に共感的であると評価された。
• EmpatheticDialoguesをリtrievalの候補プールとして使用することで、Redditの候補を使用するベースラインリtrievalモデルと比較して、共感スコアとBLEUスコアが向上した。
• データセットでファインチューニングすることで、EmpatheticDialoguesテストセットではP@1スコアが12–14%向上し、DailyDialogでは5–7%向上、Redditでは2–3%低下した。
• BERTベースのモデルに感情またはトピック予測を入力の先頭に追加することで、共感スコアが向上し、特に大規模モデルでは顕著で、一部のケースでは人間レベルの性能に近づいた。
• 最小限の計算コストで改善が達成されたため、完全な再訓練なしに効率的な適応が可能であることが示された。
• データセットの一般化性能は良好であった：ファインチューニングされたモデルはDailyDialogでも性能向上を示し、他の会話タスクへの転送性があることが示唆された。