[논문 리뷰] Towards Emotional Support Dialog Systems

Siyang Liu, Chujie Zheng외 6명|arXiv (Cornell University)|2021. 06. 02.

Topic Modeling참고 문헌 36인용 수 5

한 줄 요약

이 논문은 정서적 지원 대화(ESC) 작업을 도입하고, 도움 기술 이론에 기반한 ESC 프레임워크를 제안한다. 이 프레임워크는 탐색, 위로, 행동의 세 단계로 구성되며, 각 단계에는 구체적인 지원 전략이 수반된다. 저자들은 정교한 지원 전략 레이블링을 갖춘 고품질의 인간 주석이 부여된 데이터셋인 ESConv를 구축하였으며, 최신 기술 모델을 미세조정하여 전략 인식 학습이 정서적 지원의 효과를 크게 향상시킴을 입증하였다. 인간 평가를 통해 검증된 결과, 이는 정서적 지원의 효과성을 높이는 데 기여한다.

ABSTRACT

Emotional support is a crucial ability for many conversation scenarios, including social interactions, mental health support, and customer service chats. Following reasonable procedures and using various support skills can help to effectively provide support. However, due to the lack of a well-designed task and corpora of effective emotional support conversations, research on building emotional support into dialog systems remains untouched. In this paper, we define the Emotional Support Conversation (ESC) task and propose an ESC Framework, which is grounded on the Helping Skills Theory. We construct an Emotion Support Conversation dataset (ESConv) with rich annotation (especially support strategy) in a help-seeker and supporter mode. To ensure a corpus of high-quality conversations that provide examples of effective emotional support, we take extensive effort to design training tutorials for supporters and several mechanisms for quality control during data collection. Finally, we evaluate state-of-the-art dialog models with respect to the ability to provide emotional support. Our results show the importance of support strategies in providing effective emotional support and the utility of ESConv in training more emotional support systems.

연구 동기 및 목표

• 대화 시스템이 사회적 및 정신건강 맥락에서 효과적인 정서적 지원을 제공할 수 있도록 훈련하기 위한 새로운 작업인 정서적 지원 대화(ESC)를 정의하는 것.
• 도움 기술 이론에 기반한 ESC 프레임워크를 개발하여 세 단계로 구성된 틀을 제공하는 것: 탐색(문제 이해), 위로(공감 표현), 행동(해결책 제안).
• 세부적인 전략 레이블링과 철저한 품질 관리가 적용된 고품질의 인간 주석이 부여된 정서적 지원 대화 데이터셋인 ESConv를 구축하는 것.
• 인간 평가와 최신 기술 모델을 활용하여 지원 전략과 전략 시행 시점이 모델 성능에 미치는 영향을 평가하는 것.
• ESConv로의 미세조정이 대화 모델이 효과적인 정서적 지원을 제공하는 능력을 뚜렷이 향상시킴을 입증하는 것.

제안 방법

• Hill(2009)의 도움 기술 이론을 대화 시스템에 적합한 프레임워크로 변환하여 세 단계로 구성된 틀을 마련함: 탐색(문제 이해), 위로(공감 표현), 행동(해결책 제안).
• 현장 작업자들이 수집한 대화에서 효과적인 정서적 지원을 보장하기 위해 세부적인 훈련 가이드라인과 품질 관리 메커니즘을 설계함.
• 도움 요청자와 지원자 역할을 맡은 인력의 참여를 통해 커뮤니티 기반 방식으로 ESConv를 수집하였으며, 지원 전략과 정서 강도 변화를 모두 주석 처리함.
• 전이 학습된 대화 모델(BlenderBot)을 전략 예측 감독 학습을 통해 미세조정하여 효과적인 전략 선택과 시점 파악 능력을 습득하도록 유도함.
• 모델 쌍 간 비교를 위해 각 모델에 대해 100개의 대화를 대상으로 인간 평가를 실시하여 정서적 지원 품질, 전략 사용, 사용자 선호도 등에서 성능을 평가함.
• 통계적 검정(서명 검정)을 통해 여러 지표에서 인간 평가 결과의 유의성을 검증함.

실험 결과

연구 질문

• RQ1 대화 시스템에서 정서적 지원을 어떻게 체계적으로 구성할 수 있을까? 실제 지원 대화의 특성을 반영할 수 있는가?
• RQ2 정서적 지원 전략을 명시적으로 모델링할 경우, 대화 시스템의 정서적 지원 효과성이 얼마나 향상되는가?
• RQ3 ESConv처럼 고품질의 전략 주석이 부여된 데이터셋을 효과적으로 활용하여 사전 훈련된 모델을 미세조정함으로써 정서적 지원 성능을 향상시킬 수 있는가?
• RQ4 전략 선택과 시행 시점은 사용자의 인식과 정서적 회복에 어떤 영향을 미치는가?
• RQ5 전략 사용과 모델의 기초 아키텍처 중 어느 것이 정서적 지원 품질에 더 큰 영향을 미치는가?

주요 결과

• ESConv로 미세조정된 Joint 모델은 모든 인간 평가 지표에서 모든 베이스라인을 압도적으로 뛰어넘었으며, 통계적으로 유의미한 향상(α < 0.05)을 보였다.
• ESConv로의 미세조정은 인간 비교 평가를 통해 확인된 바, BlenderBot의 정서적 지원 능력을 모든 지표에서 뚜렷이 향상시켰다.
• 명시적으로 지원 전략을 활용한 모델는 전략 감독 없이 학습된 모델보다 효과성과 사용자 편안함에서 유의미하게 높은 평가를 받았다.
• 특히 위로 단계에서 행동 단계로의 전환 시점이 정확하게 조절될 경우, 사용자가 문제를 인지하고 정서적으로 회복되는 데 핵심적인 역할을 한다는 것이 확인되었다.
• Joint 모델의 출력 전략 분포는 ESConv의 실제 분포와 매우 유사하게 나타나, 모델가 인간처럼 전략 선택을 학습했다는 것을 시사한다.
• Base BlenderBot에 비해 Joint 모델은 더 많은 지원적인 반응을 생성하고, 더 다양한 전략을 사용했으며, 기본적으로 자기 중심적이거나 비지원적인 답변으로 수렴하는 경향이 적었다.