[論文レビュー] CharacterChat: Learning towards Conversational AI with Personalized Social Support

Quan Tu, Chuanqi Chen+6 more|arXiv (Cornell University)|Aug 20, 2023

Digital Mental Health Interventions被引用数 5

ひとこと要約

本論文では、MBTI-1024バンク（1,024体の個性が異なるMBTIプロフィールを持つ仮想キャラクター）から、パーソナ互換性のある仮想支援者を個人にマッチングする、新しいソーシャルサポート会話（S2Conv）フレームワーク「CharacterChat」を紹介する。パーソナおよびメモリ拡張対話モデリングと対人マッチングプラグインを活用することで、パーソナライズドな感情的支援が著しく向上し、最適なマッチングが選択された場合、実証的結果ではベースラインモデル比で12–15%の性能向上が確認された。

ABSTRACT

In our modern, fast-paced, and interconnected world, the importance of mental well-being has grown into a matter of great urgency. However, traditional methods such as Emotional Support Conversations (ESC) face challenges in effectively addressing a diverse range of individual personalities. In response, we introduce the Social Support Conversation (S2Conv) framework. It comprises a series of support agents and the interpersonal matching mechanism, linking individuals with persona-compatible virtual supporters. Utilizing persona decomposition based on the MBTI (Myers-Briggs Type Indicator), we have created the MBTI-1024 Bank, a group that of virtual characters with distinct profiles. Through improved role-playing prompts with behavior preset and dynamic memory, we facilitate the development of the MBTI-S2Conv dataset, which contains conversations between the characters in the MBTI-1024 Bank. Building upon these foundations, we present CharacterChat, a comprehensive S2Conv system, which includes a conversational model driven by personas and memories, along with an interpersonal matching plugin model that dispatches the optimal supporters from the MBTI-1024 Bank for individuals with specific personas. Empirical results indicate the remarkable efficacy of CharacterChat in providing personalized social support and highlight the substantial advantages derived from interpersonal matching. The source code is available in \url{https://github.com/morecry/CharacterChat}.

研究の動機と目的

• 多様な個性を持つ人々に適したパーソナライズドな支援を提供できないという、従来の感情的支援会話（ESC）の限界を是正すること。
• 支援者と支援要請者のパーソナ互換性を高めることで、心理的抵抗を軽減し、参加意欲を向上させること。
• LLMを用いてスケーラブルで一貫性があり、事実に基づいたパーソナライズドな社会的支援システムを構築すること。
• 対人マッチングがAI駆動会話における支援効果に与える影響を調査すること。
• 新しいベンチマークデータセット「MBTI-S2Conv」と包括的なS2Convシステム「CharacterChat」を構築すること。

提案手法

• ChatGPTの行動を16の異なるMBTIパーソナリティタイプに分解し、MBTI-1024バンクを構築。1,024体の個性と記憶を持つ仮想キャラクターを生成した。
• 行動プリセットと動的メモリメカニズムを備えた改善版ロールプレイプロンプトを開発し、メモリ長の制御と応答の一貫性の向上を実現した。
• MBTI-1024バンク内の支援要請者と支援者間のシミュレートされた対話を通じて、10,240件のパーソナライズドな社会的支援会話から成るMBTI-S2Convデータセットを生成した。
• 文脈的・個人的根拠に基づいた応答を可能にするために、Llama2-7Bをパーソナおよびメモリベースの対話モデルにファインチューニングした。
• MBTI-S2Convの評価スコアを学習データとして用い、支援要請者のパーソナに応じて最適な支援者を特定するための対人マッチングプラグインモデルを設計した。
• 対話モデルとマッチングプラグインを統合し、リアルタイムでパーソナライズドな社会的支援を提供するフルスタックS2Convシステム「CharacterChat」を構築した。

実験結果

リサーチクエスチョン

• RQ1 パーソナ互換性のある仮想支援者を備えたS2Convフレームワークは、一般化されたESCモデルと比較して、感情的支援の質を著しく向上させることができるか？
• RQ2 支援要請者と支援者のパーソナの間で対人マッチングがなされた場合、支援効果の認識がどの程度向上するか？
• RQ3 動的メモリと行動プリセットの導入が、パーソナライズドAI会話における応答の一貫性とユーザー満足度に与える影響は何か？
• RQ4 特化型のパーソナドリブンモデルは、一般用途のLLMに比べて、社会的支援の場面で優れた性能を示すか？
• RQ5 パーソナリティの相性が、ユーザーが報告する感情的改善度と支援品質の認識に与える影響は何か？

主な発見

• 最適な支援者（CharacterChat o）を搭載したCharacterChatは、ChatGPT や Vicuna-13b-v1.5 といった一般LLMをすべての評価基準で上回り、感情的支援の質が12–15%向上した。
• 対人マッチング機構により支援効果が顕著に向上し、最適な支援者（o）を使用した場合とランダムに選択した支援者（r）を使用した場合とで、12%の性能向上が確認された。
• ピアソン積率相関分析により、支援要請者と支援者の相性と感情的改善度の間には統計的に有意な正の相関（EIのr = 0.561）が確認され、マッチングの価値が裏付けられた。
• MBTI-S2Convデータセットは、1,024体の個性が異なる仮想キャラクターが関与する10,240件の会話から成り、多様性と一貫性に優れていた。
• 動的メモリメカニズムは、長時間会話における事実の整合性と文脈的関連性を維持しながら、メモリ長の爆発的増加を効果的に防いだ。
• 人間による評価では、対人マッチングがユーザー体験に顕著な影響を及ぼしており、感情的改善（EI）は相性と最も強い相関を示した。