[논문 리뷰] Emora: An Inquisitive Social Chatbot Who Cares For You

Sarah E. Finch, James D. Finch외 10명|arXiv (Cornell University)|2020. 09. 10.

Topic Modeling참고 문헌 15인용 수 7

한 줄 요약

Emora는 에모리 대학교에서 개발한 성격 기반의 탐구적 성격의 사회적 대화 챗봇으로, 정보 검색보다는 개인 경험과 의견 공유를 우선시한다. 규칙 기반 및 신경망 기반 컴포넌트를 융합한 하이브리드 파이프라인을 사용한다. 알렉사 프라이즈 대회에서 평균 사용자 평가 점수 3.61을 기록했으며, 개인 경험 중심 대화는 평균 3.85점으로 정보 및 의견 중심 대화(3.79점)보다 유의미하게 높았고, 현재 사건 인식은 사용자 만족도를 더욱 향상시켰다.

ABSTRACT

Inspired by studies on the overwhelming presence of experience-sharing in human-human conversations, Emora, the social chatbot developed by Emory University, aims to bring such experience-focused interaction to the current field of conversational AI. The traditional approach of information-sharing topic handlers is balanced with a focus on opinion-oriented exchanges that Emora delivers, and new conversational abilities are developed that support dialogues that consist of a collaborative understanding and learning process of the partner's life experiences. We present a curated dialogue system that leverages highly expressive natural language templates, powerful intent classification, and ontology resources to provide an engaging and interesting conversational experience to every user.

연구 동기 및 목표

• 정보 검색에 의존하는 대신 인간처럼 경험 중심의 대화를 모방하는 사회적 대화 챗봇을 개발하는 것.
• 사용자의 삶의 경험에 대한 성격, 견해, 적극적인 호기심을 통합하여 사용자 참여도를 향상시키는 것.
• 규칙 기반 및 데이터 기반 컴포넌트를 융합한 하이브리드 아키텍처를 사용하여 일관되고 개인화된 대화 시스템을 구축하는 것.
• 사람의 경험 중심 대화가 사실이나 견해 중심 주제보다 사용자 만족도를 높이는지 조사하는 것.
• 현재 사건과 명절이 사용자 인식과 상호작용 품질에 미치는 영향을 탐색하는 것.

제안 방법

• 의도 분류 및 엔터티 추출을 위한 이중 단계 NLP 처리를 수행하는 파이프라인 아키텍처를 사용하며, 정제된 템플릿과 온톨로지를 활용한다.
• 유연한 주제 전환 기능을 갖춘 상태 기반 기반의 대화 관리자로, 사용자 입력과 정서적 신호에 따라 주제를 동적으로 전환할 수 있다.
• 수작업 템플릿과 신경망 기반 의도 분류의 조합을 통해 표현력 있고 자연스럽고 맥락에 적절한 응답을 보장한다.
• 사용자 고유의 데이터와 대화 기록을 통합하여 세션 간 성격 일관성과 개인화를 유지한다.
• 명절 및 글로벌 사건(예: 코로나19)에 대응하는 동적 '오프닝'을 통해 현재 사건 인식을 구현하여 관련성과 정서적 공명을 향상시킨다.
• 스케일러블한 AWS 배포를 위해 아마존의 CoBot 프레임워크를 사용하며, 상태 및 사용자 데이터 영속성을 위해 DynamoDB를 활용한다.

실험 결과

연구 질문

• RQ1 대화에서 개인 경험과 의견 공유를 우선시할 경우, 전통적인 정보 중심 챗봇보다 사용자 만족도가 높아지는가?
• RQ2 개인화되고 견해가 뚜렷한 성격이 사용자 참여도와 인식된 진정성에 어떤 영향을 미치는가?
• RQ3 현재 사건과 계절 명절이 사용자 평가 및 챗봇에 대한 인식에 어느 정도의 영향을 미치는가?
• RQ4 순수하게 데이터 기반 모델에 비해 규칙 기반과 신경망 기반의 하이브리드 접근 방식이 개방형 사회적 대화에서 더 높은 일관성과 제어를 달성할 수 있는가?
• RQ5 주제 전환과 정서적 연속성은 일관되고 배려하는 성격으로 여겨지는 데 어떤 기여를 하는가?

주요 결과

• Emora는 알렉사 프라이즈 예선 대회 마지막 일곱 날 동안 평균 사용자 평가 점수 3.61을 기록하여 우수한 전반적 성능를 보였다.
• 개인 경험 중심 대화는 평균 3.85점으로, '정보 및 견해' 주제의 평균 3.79점보다 유의미하게 높았으며(p < 0.10), 경험 중심 대화에 대한 선호도가 확인되었다.
• 명절에 맞는 오프닝(밸런타인 데이, 부활절, 4월 1일 어린이날 등)의 적용은 사용자 평가에 긍정적 추세를 보였으며, 이벤트 인식 상호작용에서 사용자 만족도 향상을 시사했다.
• 코로나19를 주제로 한 오프닝은 지속적인 긍정적 영향을 미쳐 장기간에 걸쳐 사용자 인식을 향상시켰으며, 글로벌적으로 영향을 미치는 장기 이벤트가 사용자 인식을 개선할 수 있음을 보여주었다.
• 정제된 템플릿, 의도 분류, 온톨로지 자원의 조합을 통해 대규모 신경망 학습에 의존하지 않더라도 표현력 있고 일관되며 정서적으로 유대감을 느끼게 하는 대화를 실현할 수 있었다.
• 결과는 경험 중심 및 견해 중심 대화 전략이 챗봇의 사용자 참여도와 인식된 사회적 유대감을 크게 향상시킨다는 가설을 지지한다.