[논문 리뷰] Gunrock: A Social Bot for Complex and Engaging Long Conversations

Dian Yu, Michelle Cohn외 13명|arXiv (Cornell University)|2019. 10. 07.

Topic Modeling참고 문헌 11인용 수 11

한 줄 요약

Gunrock는 고도화된 자연어 이해, 일관된 성격 설정, 그리고 혁신적인 사실-의견 혼합 전략을 통해 장기적이고 몰입감 있으며 복잡한 대화를 가능하게 하는 사회적 챗봇이다. 2018년 앨렉사 프라이즈에서 다른 시스템을 압도적으로 앞서며, 사용자가 Gunrock의 배경 이야기나 개인적인 이야기를 공유할 때 더 긴 발화와 더 높은 만족도를 보였으며, 이는 깊이 있고 상호작용적인 대화가 참여도와 사용자 경험을 향상시킨다는 것을 입증한다.

ABSTRACT

Gunrock is the winner of the 2018 Amazon Alexa Prize, as evaluated by coherence and engagement from both real users and Amazon-selected expert conversationalists. We focus on understanding complex sentences and having in-depth conversations in open domains. In this paper, we introduce some innovative system designs and related validation analysis. Overall, we found that users produce longer sentences to Gunrock, which are directly related to users' engagement (e.g., ratings, number of turns). Additionally, users' backstory queries about Gunrock are positively correlated to user satisfaction. Finally, we found dialog flows that interleave facts and personal opinions and stories lead to better user satisfaction.

연구 동기 및 목표

• 오픈 도메인 환경에서 장기적이고 일관되며 몰입감 있는 대화를 유지할 수 있는 사회적 챗봇을 설계하는 것.
• 다단계 자연어 이해를 통해 장문의 문장과 공호성 표현을 포함한 복잡한 사용자 발화를 이해하는 것을 향상시키는 것.
• 성격 기반 상호작용과 대화 흐름 전략을 통해 사용자가 더 많은 정보를 기여하도록 유도함으로써 사용자 참여도를 높이는 것.
• 사실 정보와 개인적 의견 및 이야기를 번갈아 제시하는 방식이 사용자 만족도에 어떤 영향을 미치는지 조사하는 것.
• 사용자의 발화 행동(예: 문장 길이, 배경 질문 수)이 전체 대화 품질과 평가에 어떤 영향을 미치는지 평가하는 것.

제안 방법

• Gunrock는 Amazon Conversational Bot Toolkit(CoBot) 기반의 모듈식 이벤트 기반 아키텍처를 사용하며, ASR 오류 보정과 도메인 특화 지식 기반 시스템을 통합한다.
• 복잡한 발화를 분할하고, 더블 메타포네 기반의 철자적 유사성 매칭을 통해 ASR 오류를 보정하며, 대화 단위 간 공호성 해결을 수행하는 다단계 NLU 파이프라인을 구현한다.
• 대화 매니저는 새로운 대화 액트 체계를 도입하고 NLU 특징에 기반해 주제별 모듈을 선택함으로써 맥락 인식 기반 응답 생성을 가능하게 한다.
• Gunrock는 주제 모듈(예: 동물 모듈)에서 사실과 개인적 질문을 번갈아 제시하는 사실-의견 혼합 전략을 적용한다.
• 풍부한 성격 데이터베이스를 통해 일관되고 일관된 프로필 정보를 유지함으로써 장기적 참여와 사용자 호기심을 지원한다.
• 자연어 생성(NLG)은 마크업과 TTS를 사용해 응답을 조합하며, 피드백 루프를 통해 대화의 깊이와 사용자 참여도를 유지한다.

실험 결과

연구 질문

• RQ1 사용자의 복잡하고 긴 발화를 이해할 수 있는 능력이 사용자 참여도와 대화 길이에 어떤 영향을 미치는가?
• RQ2 사용자가 봇의 배경 이야기에 호기심을 보일 경우, 전체 만족도와 대화 품질에 어떤 영향을 미치는가?
• RQ3 사실 정보와 개인적 질문(예: 반려동물에 대한 질문)을 번갈아 제시하는 방식이 사용자 평가와 더 깊은 참여도를 높이는가?
• RQ4 사용자의 발화 행동(예: 문장 길이, 대화 라운드 수)이 인식된 품질과 만족도와 어떻게 상관관계가 있는가?
• RQ5 사용자가 개인 정보와 의견을 기여하도록 유도하면서도 일관된 성격을 유지할 수 있는 사회적 봇은 가능한가?

주요 결과

• Gunrock와 대화할 때 사용자가 훨씬 긴 문장을 발화했으며, 더 긴 문장은 대화 라운드 수와 평가 점수의 증가를 통해 측정된 더 높은 사용자 참여도와 직접적으로 관련이 있었다 (β = 1.85, p < 0.001).
• Gunrock의 배경에 대한 질문 수는 사용자 만족도와 강하게 정적 상관관계가 있었으며, 로그 변환된 회귀 계수는 β = 0.10 (p < 0.001)이었다.
• 반려동물을 이야기한 사용자는 전반적인 평가 점수가 유의미하게 높았다 (β = 0.15, p = 0.016), 이는 개인화가 만족도를 높인다는 것을 시사한다.
• 사실 정보와 개인적 질문, 이야기를 번갈아 제시하는 대화 흐름은 더 나은 사용자 경험을 이끌었으며, 이는 사실 기반과 개인 기반의 혼합 상호작용이 참여도를 향상시킨다는 것을 시사한다.
• Gunrock의 아키텍처는 깊이 있는 대화를 성공적으로 지원하였으며, 사용자가 더 많은 정보를 기여하고 더 오랜 기간 동안 참여함으로써 인간과 유사한 대화 역학을 반영하였다.
• 장문의 문장 처리 및 공호성 해결 기능이 높은 일관성과 사용자 인지 기반의 참여도 향상에 기여하였다.