[논문 리뷰] Advancing the State of the Art in Open Domain Dialog Systems through the Alexa Prize

Chandra Khatri, Behnam Hedayatnia외 20명|arXiv (Cornell University)|2018. 12. 27.

Topic Modeling참고 문헌 45인용 수 61

한 줄 요약

논문은 대학 팀이 2018년 Alexa Prize의 발전을 조사하며 맥락 인지 모델링, 지식 그래프, 계층적 대화 관리자, CoBot 도구 키트 등의 방법을 자세히 다루고, 사용자 경험의 주목할 만한 향상을 보여준다.

ABSTRACT

Building open domain conversational systems that allow users to have engaging conversations on topics of their choice is a challenging task. Alexa Prize was launched in 2016 to tackle the problem of achieving natural, sustained, coherent and engaging open-domain dialogs. In the second iteration of the competition in 2018, university teams advanced the state of the art by using context in dialog models, leveraging knowledge graphs for language understanding, handling complex utterances, building statistical and hierarchical dialog managers, and leveraging model-driven signals from user responses. The 2018 competition also included the provision of a suite of tools and models to the competitors including the CoBot (conversational bot) toolkit, topic and dialog act detection models, conversation evaluators, and a sensitive content detection model so that the competing teams could focus on building knowledge-rich, coherent and engaging multi-turn dialog systems. This paper outlines the advances developed by the university teams as well as the Alexa Prize team to achieve the common goal of advancing the science of Conversational AI. We address several key open-ended problems such as conversational speech recognition, open domain natural language understanding, commonsense reasoning, statistical dialog management, and dialog evaluation. These collaborative efforts have driven improved experiences by Alexa users to an average rating of 3.61, the median duration of 2 mins 18 seconds, and average turns to 14.6, increases of 14%, 92%, 54% respectively since the launch of the 2018 competition. For conversational speech recognition, we have improved our relative Word Error Rate by 55% and our relative Entity Error Rate by 34% since the launch of the Alexa Prize. Socialbots improved in quality significantly more rapidly in 2018, in part due to the release of the CoBot toolkit.

연구 동기 및 목표

• Alexa 스타일 시스템에서 자연스럽고 지속적이며 일관된 오픈 도메인 대화를 향한 진전을 촉진한다.
• 2018년에 대학 팀이 이룬 주요 기술 진보를 요약한다.
• 경쟁자들에게 제공된 도구와 모델 및 그것이 시스템 품질에 미친 영향을 설명한다.

제안 방법

• 오픈 도메인 상호작용을 위한 대화 맥락, 지식 그래프, 언어 이해의 활용을 설명한다.
• 통계적 및 계층적 대화 관리자의 개발을 설명한다.
• 사용자 응답으로부터의 모델 주도 신호를 개요화하여 대화 품질을 향상시키는 방법.
• 주제 및 대화 행위 탐지를 위한 CoBot 도구 키트와 관련 모델, 평가자 및 민감 콘텐츠 탐지 기능을 강조한다.

실험 결과

연구 질문

• RQ1 2018년 Alexa Prize 하에서 대학 팀들이 달성한 오픈 도메인 대화 시스템의 어떤 진보가 있었는가?
• RQ2 맥락, 지식 그래프, 현대 대화 관리가 대화 품질 향상에 어떻게 기여했는가?
• RQ3 CoBot와 같은 도구 키트가 소셜봇의 개발 및 평가에 어떤 영향을 미쳤는가?
• RQ4 이전 벤치마크에 비례하여 대화용 음성 인식 및 NLU 능력이 어떻게 향상되었는가?

주요 결과

• Alexa 사용자의 평균 평가가 3.61에 도달했다.
• 중간 대화 지속 시간이 2분 18초로 증가했다.
• 평균 대화 턴 수가 14.6으로 증가했다.
• 출시 이후 상대적 향상: 평가에서 14%, 지속 시간에서 92%, 턴 수에서 54%.
• 대화 음성 인식의 상대적 WER이 55% 개선되었다.
• 엔티티 오류율이 34% 개선되었다.