[논문 리뷰] Neural Generation Meets Real People: Towards Emotionally Engaging Mixed-Initiative Conversations

Ashwin Paranjape, Abigail See외 8명|arXiv (Cornell University)|2020. 08. 27.

AI in Service Interactions참고 문헌 27인용 수 25

한 줄 요약

이 논문은 실제 사용자와 정서적으로 유대감을 느끼는 혼합 주도형 대화를 가능하게 하는 신경망 생성 기반의 오픈도메인 소셜봇인 Chirpy Cardinal을 제시한다. 세계 지식, 공감형 응답 생성, 사용자 주도형 대화 지원을 모듈형 응답 생성기로 통합함으로써, 시스템은 평균 대화 지속 시간 2분 16초, 2019년 Alexa Prize 경연에서 최종 평균 점수 3.6/5.0을 기록하였다.

ABSTRACT

We present Chirpy Cardinal, an open-domain dialogue agent, as a research platform for the 2019 Alexa Prize competition. Building an open-domain socialbot that talks to real people is challenging - such a system must meet multiple user expectations such as broad world knowledge, conversational style, and emotional connection. Our socialbot engages users on their terms - prioritizing their interests, feelings and autonomy. As a result, our socialbot provides a responsive, personalized user experience, capable of talking knowledgeably about a wide variety of topics, as well as chatting empathetically about ordinary life. Neural generation plays a key role in achieving these goals, providing the backbone for our conversational and emotional tone. At the end of the competition, Chirpy Cardinal progressed to the finals with an average rating of 3.6/5.0, a median conversation duration of 2 minutes 16 seconds, and a 90th percentile duration of over 12 minutes.

연구 동기 및 목표

• 실제 사용자와 깊이 있고 정서적으로 유대감을 느끼며 개인화된 대화를 지원하는 오픈도메인 소셜봇을 구축하기 위해.
• 사용자가 대화 주제를 주도할 수 있도록 하되, 일관성과 참여도를 유지할 수 있도록 혼합 주도형 대화를 가능하게 하기 위해.
• 스クリプ트 기반 또는 봇 주도 대화 시스템의 한계를 극복하기 위해 신경망 생성 기반 기술과 상징적 제약 조건을 통합하기 위해.
• 공감형 응답 생성 및 의견 및 경험의 상호 공유를 통해 장기적인 정서적 유대감을 유지하기 위해.
• 신경망 생성 기반 기술과 상징적 지식 및 응답 기획 모듈을 융합하여 장기적인 대화 품질을 향상시키기 위해.

제안 방법

• 지문적 대화 기능을 위한 전용 응답 생성기(RG)를 갖춘 모듈형 아키텍처를 도입하여, 지식 검색, 정서적 반응, 의견 공유 등의 기능을 전문화시켰다.
• TopicalChat 데이터셋을 기반으로 미세조정된 GPT-2 모델을 사용하여 위키피디아, 레딧, Alexa 지식 그래프 등의 외부 자료에서 유사한 자연어 표현의 요약을 생성하였다.
• 전체 대화 흐름을 제어하기 위해 전역적 의도 분류기와 실체 추적기(엔티티 트래커)를 도입하여 사용자 및 봇 측의 주제 전환을 탐지하였다.
• 주제 전환이 감지될 경우 높은 우선순위를 가진 RG가 즉각 개입할 수 있도록 응답 우선순위 체계를 도입하여 반응성과 관련성 향상을 도모하였다.
• 사용자의 경험과 정서를 유도하고 공감적으로 응답하기 위해 신경망 기반 대화 모듈을 통합하였으며, 신경망 생성 기술을 활용해 개인적이고 정서적으로 풍부한 대화를 유지하였다.
• 특수 제약 조건과 백업 메커니즘을 적용하여 장기적인 대화나 악성 상호작용 상황에서도 일관성과 안전성을 유지하였다.

실험 결과

연구 질문

• RQ1 신경망 생성 기술과 상징적 구성 요소를 효과적으로 융합하여 정서적으로 유대감을 느끼는 장기적이고 혼합 주도형 대화를 어떻게 지원할 수 있는가?
• RQ2 특수화된 응답 생성기가 오픈도메인 대화 시스템에서 사용자 참여도와 대화 깊이를 유지하는 데 어떤 역할을 하는가?
• RQ3 템플릿 기반 기술에 의존하지 않고도 신경망 생성 모델이 공감적이고 상호적인 정서적 교류를 얼마나 잘 지원할 수 있는가?
• RQ4 사용자 주도형 대화가 오픈도메인 소셜봇의 대화 품질과 지속 시간에 어떤 영향을 미치며, 이를 최적화하기 위한 설계 패턴은 무엇인가?
• RQ5 실제 소셜봇 상호작용에서 높은 사용자 평점의 주요 예측 요소는 무엇이며, 다양한 응답 생성기가 이에 기여하는 방식은 어떠한가?

주요 결과

• Chirpy Cardinal는 중앙값으로 2분 16초의 대화 지속 시간을 기록하였고, 90프cntile 기준으로는 12분이 넘는 지속 시간을 기록하여 사용자의 지속적인 참여를 보여주었다.
• 시스템은 평균 사용자 평점 3.6점(5.0 만점)을 기록하여 실제 운영 환경에서의 높은 사용자 만족도를 입증하였다.
• 일반 대화 기능에 특화된 응답 생성기(예: 코로나19, 인정, 영화, 카테고리 등)는 높은 사용자 평점과 통계적으로 유의미한 정적 상관관계를 보였다.
• 백업 및 불쾌한 응답 생성기의 경우 평점과 부정적 상관관계를 보였으며, 이는 이들의 사용이 대화 품질 저하 또는 악성 행동의 징후로 간주됨을 시사한다.
• 신경망 대화 및 의견 모듈은 정서적 유대감을 증진시켰으며, 봇이 자신의 감정을 공유한 후 사용자가 개인 경험을 더 자주 공유하는 경향을 보였다.
• 긴 또는 예상치 못한 사용자 발언을 처리하는 데 어려움이 있었음에도 불구하고, 흥미로운 주제에 대해 개방형 질문을 던지는 전략이 사용자 주도형 대화를 지원하면서도 결정적 피로를 유발하지 않도록 효과적이었다.