[논문 리뷰] Emily: Developing An Emotion-affective Open-Domain Chatbot with Knowledge Graph-based Persona

Weixuan Wang, Xiaoling Cai외 5명|arXiv (Cornell University)|2021. 09. 18.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 사용자의 부정적 정서를 감지하고, 원하는 정서 상태 전환 데이터로 미세튜닝한 대화 모델을 통해 공감적이고 기분을 향상시키는 응답을 제공하는 정서적 영향을 미치는 오픈도메인 챗봇 Emily을 제시한다. 성격 일관성을 확보하기 위해 성격 관련 질의에 대해 지식 그래프 기반 질의응답(KGQA) 시스템을 사용하여, 발언 분류 정확도가 99.5%이고, 성격 QA에서 hit@1이 97.78%에 도달한다.

ABSTRACT

In this paper, we describe approaches for developing Emily, an emotion-affective open-domain chatbot. Emily can perceive a user's negative emotion state and offer supports by positively converting the user's emotion states. This is done by finetuning a pretrained dialogue model upon data capturing dialogue contexts and desirable emotion states transition across turns. Emily can differentiate a general open-domain dialogue utterance with questions relating to personal information. By leveraging a question-answering approach based on knowledge graphs to handle personal information, Emily maintains personality consistency. We evaluate Emily against a few state-of-the-art open-domain chatbots and show the effects of the proposed approaches in emotion affecting and addressing personality inconsistency.

연구 동기 및 목표

• 사용자의 정서 상태를 인식하고 대화 중 정서 상태를 긍정적으로 영향을 주는 오픈도메인 챗봇을 개발하는 것.
• 성격 관련 질의를 생성형 응답에서 분리함으로써 오픈도메인 챗봇의 성격 일관성 문제를 해결하는 것.
• 정확하고 일관된 응답을 제공하는 검색 기반 지식 그래프 질의응답(KGQA) 시스템을 설계하는 것.
• 최신 오픈도메인 챗봇들과의 비교를 통해 Emily의 정서 조절 능력과 성격 일관성의 효과를 평가하는 것.

제안 방법

• 트위터와 공감 대화 데이터에서 유저 정서 상태(긍정, 중립, 부정)를 주석 처리한 데이터셋으로 사전 학습된 대화 모델(DialoGPT)을 미세튜닝하였다.
• RoBERTa 기반의 발언 분류기로 성격 관련 질문을 탐지하여, 개인 질문과 일반 질문을 구분하는 데 99.5%의 정확도를 달성하였다.
• 사용자의 정서 상태를 부정에서 긍정으로 전환하는 데 초점을 맞춘 정서 영향 모듈을 개발하였으며, 원하는 정서 전환을 반영한 대화 맥락 데이터로 학습하였다.
• 지식 그래프 임베딩 기반 QA 시스템(Embedded KGQA)을 구축하여 성격 및 유명인 관련 질문에 대한 답변을 검색하였으며, 평가 지표로 hit@1, hit@3, hit@10를 사용하였다.
• 공개 인물 정보를 지원하기 위해 세계적 유명인 지식 그래프를 통합하여 챗봇의 사실 기반 성격을 강화하였다.
• 다단계 파이프라인을 활용하여, 발언 분류 → 질문 유형에 따라 정서 영향 응답 생성 또는 KGQA 검색을 수행하는 아키텍처를 구현하였다.

실험 결과

연구 질문

• RQ1 미세튜닝된 대화 모델이 오픈도메인 대화에서 사용자의 정서 상태를 긍정적으로 영향을 주는 응답을 효과적으로 생성할 수 있는가?
• RQ2 오픈도메인 챗봇에서 개인 정보 질의를 처리할 때 성격 일관성을 어떻게 유지할 수 있는가?
• RQ3 지식 그래프 기반 QA 시스템이 성격 관련 질문에 대해 생성 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 생성형 응답 생성과 검색 기반 QA를 융합한 하이브리드 접근 방식이 정서적 반응성과 사실 일관성 향상에 기여하는가?

주요 결과

• 발언 분류기가 성격 관련 질문과 일반 질문을 구분하는 데 99.5%의 정확도를 달성하여 적절한 모듈로의 라우팅을 효과적으로 지원하였다.
• 정서 영향 모듈은 정서 전환 모델링을 통해 사용자의 정서 상태를 부정에서 긍정으로 전환하는 응답을 성공적으로 생성하였다.
• Embedded KGQA 시스템은 성격 관련 질문에서 hit@1 점수가 0.9778에 도달하여 지식 그래프에서 정확한 답변을 검색하는 데 높은 정확도를 보였다.
• 모델은 성격 일관성 측면에서 뛰어난 성능을 보이며, 성격 정보와 생성된 응답 간의 괴리감을 크게 감소시켰다.
• 정성적 및 정량적 평가를 통해 Emily는 여러 최신 오픈도메인 챗봇들보다 정서 조절 능력과 일관성 측면에서 뛰어난 성능을 보였다.
• 개인 및 유명인 정보를 위한 지식 그래프 통합으로 사실 정확도가 향상되었고, 응답의 환각 현상이 감소하였다.