[論文レビュー] Towards Emotional Support Dialog Systems

Siyang Liu, Chujie Zheng+6 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 36被引用数 5

ひとこと要約

本稿では、感情的支援会話（ESC）タスクを導入し、支援スキル理論に基づくESCフレームワークを提案する。このフレームワークは、理解（Exploration）、共感（Comforting）、対処（Action）の3段階から構成され、それぞれに特定の支援戦略が含まれる。著者らは、豊富な支援戦略ラベルを備えた高品質で人間がアノテートしたESConvというデータセットを構築し、最先端のモデルを微調整することで、戦略に配慮した学習が感情的支援の効果を顕著に向上させることを示した。人間評価によってもその有効性が裏付けられた。

ABSTRACT

Emotional support is a crucial ability for many conversation scenarios, including social interactions, mental health support, and customer service chats. Following reasonable procedures and using various support skills can help to effectively provide support. However, due to the lack of a well-designed task and corpora of effective emotional support conversations, research on building emotional support into dialog systems remains untouched. In this paper, we define the Emotional Support Conversation (ESC) task and propose an ESC Framework, which is grounded on the Helping Skills Theory. We construct an Emotion Support Conversation dataset (ESConv) with rich annotation (especially support strategy) in a help-seeker and supporter mode. To ensure a corpus of high-quality conversations that provide examples of effective emotional support, we take extensive effort to design training tutorials for supporters and several mechanisms for quality control during data collection. Finally, we evaluate state-of-the-art dialog models with respect to the ability to provide emotional support. Our results show the importance of support strategies in providing effective emotional support and the utility of ESConv in training more emotional support systems.

研究の動機と目的

• 対話システムが社会的・精神的健康の文脈で効果的な感情的支援を提供できるようにするため、新たなタスク「感情的支援会話（ESC）」を定義すること。
• 支援スキル理論に基づいたESCフレームワークを開発すること。このフレームワークは、理解（Exploration）、共感（Comforting）、対処（Action）の3段階に構成され、それぞれに明確な支援戦略が含まれる。
• 詳細な戦略ラベルと厳密な品質管理を備えた、高品質で人間がアノテートした感情的支援会話のデータセットESConvを構築すること。
• 人間評価と最先端のモデルを用いて、支援戦略とその実行タイミングがモデル性能に与える影響を評価すること。
• ESConvで微調整することで、対話モデルが効果的な感情的支援を提供する能力が顕著に向上することを示すこと。

提案手法

• Hill（2009）の支援スキル理論を、対話システムに適したフレームワークに再構成し、3段階（理解：問題の把握、共感：共感の表明、対処：解決策の提示）に分ける。
• クラウドワーカーが高品質で効果的な感情的支援を提供できるように、詳細なトレーニングチュートリアルと品質管理メカニズムを設計する。
• 支援者と依頼者という役割を分担してクラウドソーシングで会話を収集し、支援戦略と感情の強度変化を完全にアノテートする。
• 事前学習済み対話モデル（BlenderBot）を、戦略予測の監視情報を用いて微調整し、効果的な戦略選択とタイミングの学習を可能にする。
• 100件の会話ごとのモデルペアを対象に人間評価を実施し、感情的支援の質、戦略使用の有無、ユーザーの好みの観点からモデル性能を比較する。
• 統計的検定（符号検定）を用いて、複数の指標における人間評価結果の有意性を検証する。

実験結果

リサーチクエスチョン

• RQ1 対話システムにおける感情的支援を、現実の支援会話に即した方法で体系的に構造化するにはどうすればよいか？
• RQ2 支援戦略を明示的にモデル化することで、対話システムにおける感情的支援の効果がどの程度向上するのか？
• RQ3 ESConvのような高品質で戦略ラベルが付与されたデータセットを、事前学習モデルの微調整に効果的に活用できるか？
• RQ4 戦略の選択とタイミングが、ユーザーの認識と感情の改善にどのように影響するか？
• RQ5 戦略使用の影響とモデルのバックボーン（基盤モデル）の影響の相対的な影響は、感情的支援の質の認識にどの程度寄与するか？

主な発見

• ESConvで微調整したJointモデルは、すべての人的評価指標でベースラインを上回り、有意に優れていた（p < 0.05）。
• ESConvで微調整することで、BlenderBotの感情的支援能力がすべての指標で顕著に向上し、ペaired人間比較によって確認された。
• 支援戦略を明示的に使用するモデルは、戦略の監視なしに学習したモデルよりも、有効性とユーザーの快適さの点で有意に高い評価を得た。
• 特に共感段階から対処段階への移行タイミングが、問題の特定と感情の改善に不可欠であることが判明した。
• Jointモデルの出力における戦略分布は、ESConvの正解分布に極めて近いことが確認され、モデルが人間と同様の戦略選択を学習していることが示された。
• Jointモデルは、ベースラインのBlenderBotが自己言及的または非支援的な返答に傾向するのとは異なり、より多くの支援的発話を行い、多様な戦略を用いていた。