[論文レビュー] STICKERCONV: Generating Multimodal Empathetic Responses from Scratch

Zhang, Yiqun, Yiqun Zhang+7 more|arXiv (Cornell University)|Jan 20, 2024

AI in Service Interactions被引用数 1

ひとこと要約

本稿では、LLMベースのマルチエージェントシステム（Agent4SC）を用いて人間らしいステッカー使用をシミュレートすることで構築された、12.9Kセッションおよび5.8Kの固有ステッカーを有する、新しいマルチモーダル共感的対話データセットであるSTICKERCONVを紹介する。また、文脈を把握し、感情にふさわしいステッカーを生成するエンドツーエンドフレームワークPEGSを提案し、LLMベースの評価指標を用いて最先端の性能を達成した。

ABSTRACT

Stickers, while widely recognized for enhancing empathetic communication in online interactions, remain underexplored in current empathetic dialogue research, notably due to the challenge of a lack of comprehensive datasets. In this paper, we introduce the Agent for STICKERCONV (Agent4SC), which uses collaborative agent interactions to realistically simulate human behavior with sticker usage, thereby enhancing multimodal empathetic communication. Building on this foundation, we develop a multimodal empathetic dialogue dataset, STICKERCONV, comprising 12.9K dialogue sessions, 5.8K unique stickers, and 2K diverse conversational scenarios. This dataset serves as a benchmark for multimodal empathetic generation. To advance further, we propose PErceive and Generate Stickers (PEGS), a multimodal empathetic response generation framework, complemented by a comprehensive set of empathy evaluation metrics based on LLM. Our experiments demonstrate PEGS's effectiveness in generating contextually relevant and emotionally resonant multimodal empathetic responses, contributing to the advancement of more nuanced and engaging empathetic dialogue systems.

研究の動機と目的

• ステッカーを含むマルチモーダル共感的対話のための包括的で包括的なデータセットの不足に対処すること。
• 共同するマルチエージェントシステム（Agent4SC）を用いて、共感的対話における現実的な人間のステッカー使用をシミュレートすること。
• 文脈を把握し、共感的応答に適したステッカーを生成するエンドツーエンドフレームワークPEGSを構築すること。
• 共感、一貫性、順位付けに焦点を当て、LLMを活用した包括的な評価プロトコルを確立すること。

提案手法

• LLMに基づくマルチエージェントシステム（Agent4SC）を用い、共感的対話シナリオにおいて戦略的なステッカー使用を模倣した人間らしい相互作用を実現する。
• 12.9Kの対話セッション（1セッションあたり平均5.22個のステッカー）および5.8Kの固有ステッカーを含むSTICKERCONVデータセットを構築する。
• テキストと画像入力を共同で処理し、感情的文脈を把握し、適切なタイミングで適切なステッカーを生成するマルチモーダルフレームワークPEGSを設計する。
• 対話文脈に基づいて、いつ、どのステッカーを用いるかを推論できる共同学習メカニズムを実装する。
• 専用のプロンプトテンプレートを用いたLLMを活用したマルチモーダル共感的評価フレームワークを構築し、一貫性、共感（テキストのみおよびマルチモーダル）、順位付けを含む。
• ツール学習と共同推論を統合し、テキストと画像入力を入れ替えながら処理できるようにし、動的な文脈認識型ステッカー挿入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントを用いて、共感的オンライン対話において人間らしいステッカー使用を効果的にシミュレートする方法は何か？
• RQ2 ステッカーを非テキスト的モダリティとして統合することで、共感的応答の質と感情的共鳴にどのような影響を与えるか？
• RQ3 事前に用意されたステッカーデータベースに依存せずに、PEGSのようなエンドツーエンドフレームワークが文脈的に関連性があり、感情にふさわしいステッカーを生成できるか？
• RQ4 共感の正確な評価を可能にする信頼性の高いLLMベースの評価指標をどのように設計できるか？
• RQ5 テキストとステッカーの統合（マルチモーダル統合）は、共感的対話システムにおける一貫性と感情的整合性をどの程度向上させるか？

主な発見

• STICKERCONVデータセットには12.9Kの対話セッション、5.8Kの固有ステッカー、1セッションあたり平均5.22個のステッカーが含まれており、現実的なステッカー使用パターンを反映している。
• LLMベースの評価によって検証された結果、PEGSは文脈的に一貫性があり、感情的に共鳴するマルチモーダル共感的応答を生成する点で、強力なベースラインを上回った。
• マルチモーダル共感スコアを含む、提案された共感評価フレームワークは、人間の判断と高い整合性を示し、特に感情的関連性と一貫性の検出において優れた信頼性を示した。
• ステッカーの統合は感情表現の豊かさと応答品質を顕著に向上させ、PEGSは適切なタイミングで文脈にふさわしいステッカーを生成する点で優れた性能を示した。
• PEGSにおける共同学習とツール使用メカニズムにより、テキストと画像入力の動的な入れ替え処理が可能となり、リアルなSNS風の対話に対応できるようになった。
• LLMを用いた共感評価は人間の判断と強い相関を示し、マルチモーダル共感的システムの自動ベンチマーク評価における有効性を裏付けた。