[논문 리뷰] Conversational AI: The Science Behind the Alexa Prize

Ashwin Ram, Rohit Prasad외 16명|arXiv (Cornell University)|2018. 01. 11.

Topic Modeling참고 문헌 18인용 수 201

한 줄 요약

논문은 Alexa Prize를 설명하는데, 이는 2.5-million-dollar 대학 대회로 16개 팀이 소셜봇을 구축하여 인간과 20분간 대화하도록 하고, 실시간 데이터 수집과 평가를 가능하게 하여 대화형 AI를 발전시키는 것입니다.

ABSTRACT

Conversational agents are exploding in popularity. However, much work remains in the area of social conversation as well as free-form conversation over a broad range of domains and topics. To advance the state of the art in conversational AI, Amazon launched the Alexa Prize, a 2.5-million-dollar university competition where sixteen selected university teams were challenged to build conversational agents, known as socialbots, to converse coherently and engagingly with humans on popular topics such as Sports, Politics, Entertainment, Fashion and Technology for 20 minutes. The Alexa Prize offers the academic community a unique opportunity to perform research with a live system used by millions of users. The competition provided university teams with real user conversational data at scale, along with the user-provided ratings and feedback augmented with annotations by the Alexa team. This enabled teams to effectively iterate and make improvements throughout the competition while being evaluated in real-time through live user interactions. To build their socialbots, university teams combined state-of-the-art techniques with novel strategies in the areas of Natural Language Understanding, Context Modeling, Dialog Management, Response Generation, and Knowledge Acquisition. To support the efforts of participating teams, the Alexa Prize team made significant scientific and engineering investments to build and improve Conversational Speech Recognition, Topic Tracking, Dialog Evaluation, Voice User Experience, and tools for traffic management and scalability. This paper outlines the advances created by the university teams as well as the Alexa Prize team to achieve the common goal of solving the problem of Conversational AI.

연구 동기 및 목표

• 대규모의 실제 사용자 평가 환경을 통해 대화형 AI 연구의 동기를 제시한다.
• 팀과 주최 측이 사용하는 Alexa Prize 아키텍처, 데이터 수집 및 평가 프레이워크를 설명한다.
• 음성 인식, 토픽 트래킹, 대화 평가 및 대화 시스템의 사용자 경험 향상을 위한 과학 및 공학적 투자를 요약한다.

제안 방법

• 소셜봇에 대한 대회 설계와 평가 기준을 설명한다.
• 팀이 NLU, 컨텍스트 모델링, 대화 관리, 응답 생성, 지식 습득 전반에 걸쳐 최첨단 기술과 새로운 전략을 어떻게 결합했는지 설명한다.
• 실시간 사용자 대화, 평가, 피드백 및 Alexa 팀 주석으로 구성된 데이터 수집 파이프라인을 강조한다.
• 대규모 대화 음성 인식, 토픽 트래킹, 트래픽 관리에 대한 인프라 투자에 대해 논의한다.

실험 결과

연구 질문

• RQ1 다양한 주제에 걸쳐 인간과의 일관되고 몰입감 있는 장기 맥락 소셜봇 대화를 가능하게 하는 접근 방식은 무엇인가?
• RQ2 대규모 라이브 사용자 피드백이 소셜봇 능력의 반복적 개선을 어떻게 가속화하는가?
• RQ3 경쟁적이고 실제 환경에서 대화형 AI의 개선을 주도하는 핵심 연구 영역(NLU, context, dialog, knowledge)은 무엇인가?
• RQ4 대규모 실사용 AI 대회를 운영할 때 발생하는 인프라 및 방법론적 과제는 무엇인가?

주요 결과

• The Alexa Prize는 팀이 소셜봇 설계를 반복하는 데 활용된 실사용 상호작용과 주석 피드백을 가능하게 했다.
• 대회는 핵심 AI 영역 전반에 걸쳐 최첨단 기술과 새로운 전략을 결합하여 대화형 AI를 발전시켰다.
• 대규모로 음성 인식, 토픽 트래킹, 대화 평가 및 사용자 경험을 향상시키기 위해 중요한 과학적 및 공학적 투자가 이루어졌다.
• 팀과 주최 측은 실시간으로 대화형 에이전트를 평가하고 다듬기 위해 라이브 데이터를 활용했다.