[논문 리뷰] STICKERCONV: Generating Multimodal Empathetic Responses from Scratch

Zhang, Yiqun, Yiqun Zhang외 7명|arXiv (Cornell University)|2024. 01. 20.

AI in Service Interactions인용 수 1

한 줄 요약

이 논문은 LLM 기반의 다중 에이전트 시스템(에이전트4스케이)을 통해 인간과 유사한 스티커 사용을 시뮬레이션한, 12.9K개의 대화 세션과 5.8K개의 고유 스티커를 포함한 새로운 다중모달 공감 대화 데이터셋인 STICKERCONV를 소개한다. 또한, 맥락을 인지하고 감정적으로 적절한 스티커를 생성하는 엔드 투 엔드 프레임워크인 PEGS를 제안하며, LLM 기반 평가 지표를 사용해 다중모달 공감 응답 생성 분야에서 최고 성능을 달성한다.

ABSTRACT

Stickers, while widely recognized for enhancing empathetic communication in online interactions, remain underexplored in current empathetic dialogue research, notably due to the challenge of a lack of comprehensive datasets. In this paper, we introduce the Agent for STICKERCONV (Agent4SC), which uses collaborative agent interactions to realistically simulate human behavior with sticker usage, thereby enhancing multimodal empathetic communication. Building on this foundation, we develop a multimodal empathetic dialogue dataset, STICKERCONV, comprising 12.9K dialogue sessions, 5.8K unique stickers, and 2K diverse conversational scenarios. This dataset serves as a benchmark for multimodal empathetic generation. To advance further, we propose PErceive and Generate Stickers (PEGS), a multimodal empathetic response generation framework, complemented by a comprehensive set of empathy evaluation metrics based on LLM. Our experiments demonstrate PEGS's effectiveness in generating contextually relevant and emotionally resonant multimodal empathetic responses, contributing to the advancement of more nuanced and engaging empathetic dialogue systems.

연구 동기 및 목표

• 스티커를 포함한 다중모달 공감 대화를 위한 종합적인 데이터셋 부족 문제를 해결하기 위해.
• 협업형 다중 에이전트 시스템(에이전트4스케이)을 통해 인간과 유사한 스티커 사용 방식을 시뮬레이션하기 위해.
• 맥락을 인지하고 공감 응답에 적절한 스티커를 생성하는 새로운 엔드 투 엔드 프레임워크인 PEGS를 개발하기 위해.
• 공감, 일관성, 랭킹을 중점으로 하여, 다중모달 공감 응답을 평가하기 위한 종합적인 LLM 기반 평가 프로토콜 수립하기 위해.

제안 방법

• LLM 기반의 다중 에이전트 시스템(에이전트4스케이)을 활용해 공감 대화 상황에서 전략적 스티커 사용을 시뮬레이션하는 인간과 유사한 상호작용을 구현하기 위해.
• 세션당 평균 5.22개의 스티커와 5.8K개의 고유 스티커를 포함한 12.9K개의 대화 세션을 생성함으로써 STICKERCONV 데이터셋을 구축하기 위해.
• 텍스트 및 이미지 입력을 동시에 처리하여 감정적 맥락을 인지하고 관련 시점에 적절한 스티커를 생성하는 다중모달 프레임워크인 PEGS를 설계하기 위해.
• 대화 맥락을 바탕으로 언제, 어떤 스티커를 사용할지에 대해 추론할 수 있도록 공동 학습 메커니즘을 구현하기 위해.
• 일관성, 공감(텍스트 전용 및 다중모달), 랭킹을 위한 전용 프롬프트 템플릿을 포함한 LLM 기반의 다중모달 공감 평가 프레임워크를 개발하기 위해.
• 도구 학습과 공동 추론을 통합하여 텍스트와 이미지 입력을 번갈아가며 처리할 수 있도록 지원함으로써, 동적이고 맥락 인식형 스티커 삽입을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 LLM 기반의 에이전트를 활용해 공감 온라인 대화에서 인간과 유사한 스티커 사용 방식을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 비텍스트적 모odal인 스티커를 통합함으로써 공감 응답의 품질과 감정적 공명도에 어떤 영향을 미치는가?
• RQ3 기존 스티커 데이터베이스에 의존하지 않고도, PEGS와 같은 엔드 투 엔드 프레임워크가 맥락에 부합하고 감정적으로 적절한 스티커를 생성할 수 있는가?
• RQ4 다중모달 응답의 공감도를 정확하게 평가할 수 있는 신뢰할 수 있는 LLM 기반 평가 지표를 어떻게 설계할 수 있는가?
• RQ5 텍스트 + 스티커의 다중모달 통합 방식은 공감 대화 시스템에서 일관성과 감정 일치도를 어느 정도 향상시키는가?

주요 결과

• STICKERCONV 데이터셋은 12.9K개의 대화 세션, 5.8K개의 고유 스티커, 세션당 평균 5.22개의 스티커를 포함하며, 현실적인 스티커 사용 패턴을 반영한다.
• LLM 기반 평가를 통해 검증된 결과, PEGS는 맥락 일관성과 감정적 공명도가 높은 다중모달 공감 응답 생성에서 강력한 베이스라인을 초월한다.
• 다중모달 공감 점수 포함한 제안된 공감 평가 프레임워크는 높은 신뢰도를 보이며, 특히 감정적 관련성과 일관성을 탐지하는 데 인간 평가와 잘 일치한다.
• 스티커 통합은 감정 표현력과 응답 품질을 크게 향상시키며, PEGS는 적절한 시점에 맥락에 부합하는 스티커를 생성하는 데 뛰어난 성능을 보인다.
• PEGS의 공동 학습 및 도구 사용 메커니즘은 텍스트와 이미지 입력을 동적으로 번갈아 처리할 수 있도록 하여, 현실적인 소셜미디어 스타일의 대화를 지원한다.
• LLM 기반 공감 평가에서는 인간 평가와 강한 상관관계를 보이며, 다중모달 공감 시스템의 자동 기준 평가에 실용성을 입증한다.