[논문 리뷰] Touch Your Heart: A Tone-aware Chatbot for Customer Care on Social Media

Tianran Hu, Anbang Xu외 6명|arXiv (Cornell University)|2018. 03. 08.

Digital Marketing and Social Media참고 문헌 5인용 수 39

한 줄 요약

이 논문은 형태학적 사용자 연구를 바탕으로 특정 정서적 톤—특히 공감과 열정적인 톤—을 갖춘 반응을 생성하기 위해 딥러닝을 사용하는 정서 인지 챗봇을 제안한다. 인간 평가를 통해 검증된 결과, 이 챗봇은 인간 상담사와 동등한 적절성을 보이며 공감 능력이 더 뛰어나, 정서 인지 생성 기술이 자동 고객 서비스에서 사용자 경험을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Chatbot has become an important solution to rapidly increasing customer care demands on social media in recent years. However, current work on chatbot for customer care ignores a key to impact user experience - tones. In this work, we create a novel tone-aware chatbot that generates toned responses to user requests on social media. We first conduct a formative research, in which the effects of tones are studied. Significant and various influences of different tones on user experience are uncovered in the study. With the knowledge of effects of tones, we design a deep learning based chatbot that takes tone information into account. We train our system on over 1.5 million real customer care conversations collected from Twitter. The evaluation reveals that our tone-aware chatbot generates as appropriate responses to user requests as human agents. More importantly, our chatbot is perceived to be even more empathetic than human agents.

연구 동기 및 목표

• 소셜미디어 고객 서비스에서 다양한 톤이 사용자 경험에 미치는 영향을 조사한다.
• 공감 또는 열정적인 톤과 같은 특정 톤이 사용자 만족도와 참여도를 얼마나 긍정적으로 영향을 주는지 규명한다.
• 제어된 정서적 톤을 갖춘 반응을 생성할 수 있도록 딥러닝 기반 챗봇을 설계하고 구현한다.
• 정서 인지 반응이 인간이 생성한 반응의 품질과 공감 능력에 맞추거나 뛰어나게 할 수 있는지 평가한다.

제안 방법

• 회귀 분석을 사용하여 사용자 경험에 미치는 영향을 분석하기 위해 8가지 정의된 톤(예: 공감, 열정, 분노)을 포함한 형성 연구를 수행하였다.
• 트위터에서 수집한 150만 건 이상의 실제 고객 서비스 대화를 수집하고 분석하여 모델을 훈련시켰다.
• 표준 순서-순서(sequence-to-sequence, seq2seq) 신경망에 톤 지시 비트를 추가하여 출력 톤 스타일을 제어하였다.
• 형성 연구에서 학습된 톤 임베딩을 조건으로 하여 특정 톤에서 반응을 생성하도록 모델을 훈련시켰다.
• 인간의 주석을 활용하여 반응의 적절성, 유용성, 톤 강도를 평가하였으며, 모델 출력 결과를 인간 상담사의 반응과 비교하였다.
• 브랜드 전용 스타일 신호를 통합함으로써 브랜드 인지 반응을 지원할 수 있도록 확장 가능한 프레임워크를 설계하였다.

실험 결과

연구 질문

• RQ1 다양한 톤(예: 공감, 열정, 분노)이 소셜미디어 고객 서비스에서 사용자 경험에 어떻게 영향을 미치는가?
• RQ2 사용자 만족도를 높이고 부정적 감정을 감소시키는 데 가장 효과적인 톤는 무엇인가?
• RQ3 딥러닝 기반 챗봇이 인간 상담사와 동등한 적절성을 갖춘 반응을 특정 톤으로 생성할 수 있는가?
• RQ4 인간 주석자가 기계가 생성한 반응에 내재된 톤을 신뢰성 있게 인지할 수 있는가?
• RQ5 고객 서비스 상호작용에서 정서 인지 챗봇이 인간 상담사보다 더 공감 능력이 뛰어나게 인식되는가?

주요 결과

• 공감 톤은 사용자의 분노와 슬픔을 유의미하게 감소시키며, 열정 톤은 서비스 만족도와 사용자 참여도를 높인다.
• 인간 평가 결과, 정서 인지 챗봇의 반응은 인간 상담사의 반응과 통계적으로 동등한 적절성과 유용성을 보였다.
• 주석자가 챗봇의 반응에 내재된 톤을 신뢰성 있게 인지할 수 있었으며, 이는 효과적인 톤 제어를 확인하는 데 기여했다.
• 챗봇의 반응은 인간 상담사의 반응보다 더 높은 공감 능력으로 인식되었으며, 정서적 공명에서 유일한 이점을 보였다.
• 열정 톤 반응은 공감 톤 반응보다 적절성 평가에서 유의미하게 높게 평가되었으며, 이는 다양한 요청 유형에 더 널리 적용 가능하기 때문일 것이다.
• 모델의 성능은 문법적 정확성이나 사실적 정확성 이상으로 정서적 톤—특히 열정적이고 공감적인 톤—을 내재함으로써 인식 품질을 향상시킬 수 있음을 시사한다.