[논문 리뷰] A Taxonomy of Empathetic Response Intents in Human Social Conversations

Anuradha Welivita, Pearl Pu|arXiv (Cornell University)|2020. 12. 07.

Topic Modeling참고 문헌 50인용 수 4

한 줄 요약

이 논문은 EmpatheticDialogues 데이터셋에서 인간 간 사회적 대화를 바탕으로 한 500개의 공감적 청취자 반응 의도에 대한 분류 체계를 제안한다. 수작업 주석과 자동 레이블링을 통해 발화자 감정과 청취자 반응 간의 패턴을 규명한다. 주요 기여는 신경망 기반 응답 생성에 의도 및 감정 모델링를 통합함으로써 대화보트의 제어 가능성과 공감 능력을 향상시키는 구조적이고 해석 가능한 프레임워크를 제공하는 것이다. 분석 결과 청취자들은 슬픔이나 분노에 대해 감정 반영보다 질문을 더 자주 사용함을 확인하였다.

ABSTRACT

Open-domain conversational agents or chatbots are becoming increasingly popular in the natural language processing community. One of the challenges is enabling them to converse in an empathetic manner. Current neural response generation methods rely solely on end-to-end learning from large scale conversation data to generate dialogues. This approach can produce socially unacceptable responses due to the lack of large-scale quality data used to train the neural models. However, recent work has shown the promise of combining dialogue act/intent modelling and neural response generation. This hybrid method improves the response quality of chatbots and makes them more controllable and interpretable. A key element in dialog intent modelling is the development of a taxonomy. Inspired by this idea, we have manually labeled 500 response intents using a subset of a sizeable empathetic dialogue dataset (25K dialogues). Our goal is to produce a large-scale taxonomy for empathetic response intents. Furthermore, using lexical and machine learning methods, we automatically analysed both speaker and listener utterances of the entire dataset with identified response intents and 32 emotion categories. Finally, we use information visualization methods to summarize emotional dialogue exchange patterns and their temporal progression. These results reveal novel and important empathy patterns in human-human open-domain conversations and can serve as heuristics for hybrid approaches.

연구 동기 및 목표

• 인간 사회적 대화에서 공감적 청취자 반응 의도에 대한 대규모 수작업 캐릭터라이징 분류 체계를 개발하여 대화보트의 공감 능력을 향상시키는 것.
• 순수 데이터 기반 신경망 기반 응답 생성의 한계를 해결하기 위한 것. 이는 종종 사회적으로 부적절하거나 중복된 응답을 생성하기 때문이다.
• 25,000개의 대화에서 자동 감정 및 의도 레이블링을 통해 발화자 감정과 청취자 반응 의도 간의 관계를 분석하는 것.
• 열린 도메인 인간 대화에서 반복적으로 나타나는 공감 역학을 밝혀내기 위해 감정 대화 교환의 시간적 패턴을 시각화하는 것.
• 더 제어 가능하고 해석 가능하며 사회적 기여도가 높은 공감적 대화보트를 훈련하기 위한 재사용 가능한 주석 체계와 히우리스틱을 제공하는 것.

제안 방법

• EmpatheticDialogues 데이터셋에서 500개의 응답 문장을 수작업으로 주석 처리하여 32개 감정 카테고리에 걸쳐 공감적 청취자 의도의 고유한 분류 체계를 적용하였다.
• 어휘 패턴 매칭과 기계학습 기법을 활용해 데이터셋의 전체 25,000개 대화를 감정 및 의도 카테고리로 자동 레이블링하였다.
• 정보 시각화 기법을 사용하여 감정 대화 교환 패턴과 그 시간에 따른 변화를 맵핑하고 분석하였다.
• 대화 기록이 감정 및 의도로 태그가 되고, 대화 액트 선택 모듈이 응답 생성 이전에 가장 적절한 청취자 의도를 선택하는 하이브리드 프레임워크를 제안하였다.
• 분류 체계를 공동 모델링 접근법에 통합하여 대화 기록과 선택된 공감적 의도 레이블을 기반으로 응답 생성을 조정하는 방식을 구현하였다.
• 대화 기록이 없는 문장 수준의 분류에서의 한계를 고려하면서도, 어휘 기반 의도 탐지와 문맥 인식 개선을 비교함으로써 자동 레이블링의 정확도를 평가하였다.

실험 결과

연구 질문

• RQ1 열린 도메인 사회적 대화에서 인간이 자주 사용하고 구분 가능한 공감적 반응 의도는 무엇인가?
• RQ2 특히 슬픔, 분노 또는 혐오감을 표현할 경우, 청취자의 반응 의도는 발화자 감정과 어떻게 관련되어 있는가?
• RQ3 공감 대화 교환의 시간적 진행에서 지배적인 감정적 및 대화 패턴은 무엇인가?
• RQ4 대규모 대화 데이터셋에서 감정 및 의도의 자동 레이블링이 제어 가능한 공감적 대화보트 개발에 얼마나 기여할 수 있는가?
• RQ5 공감 의도의 분류 체계는 신경망 기반 응답 생성 모델의 해석 가능성과 제어 가능성에 어떻게 기여하는가?

주요 결과

• 청취자들은 슬픔이나 분노에 대해 유사하거나 반대 감정을 표현하기보다는 질문을 더 자주 사용함을 확인하여, 발화자를 지원하기 위한 전략적 질문 사용이 두드러진다.
• 청취자가 감정 전염을 경험하고 자신의 부정적 감정을 반영하는 '개인적 고통'은 존재하지만, 건강한 공감 반응보다 빈도가 낮아, 자연스럽게 사회적 기여를 향한 경향이 있음을 시사한다.
• 공감 반응 전략 중 가장 흔한 것은 수동적 경청, 명확화, 확인이지만, 감정 반영이나 자기 공개는 덜 자주 사용된다.
• 분류 체계는 공감, 우려, 지원적 질문과 같은 미묘한 공감 행동을 성공적으로 포착하였으며, 도움이 되지 않거나 고통을 유발하는 반응과의 차이를 명확히 구분하였다.
• 감정 진행의 시각화 결과 공감 패턴이 대화 턴에 따라 역동적으로 변화하는 것으로 나타났으며, 초기 반응은 더 반응적이고, 후속 반응은 더 반영적인 성향을 띠었다.
• 대규모 스케일에서 효과적인 자동 레이블링 파이프라인은 존재하지만, 대화 기록 없이 문장 수준의 특징만을 기반으로 할 경우 맥락에 따라 달라지는 의도의 차이를 정확히 구분하지 못하는 한계를 보였다.