[논문 리뷰] Alexa, Let's Work Together: Introducing the First Alexa Prize TaskBot Challenge on Conversational Task Assistance

Anna Gottardi, Osman İpek외 28명|arXiv (Cornell University)|2022. 09. 13.

AI in Service Interactions인용 수 10

한 줄 요약

이 논문은 음성과 시각 인터페이스를 활용해 실생활 요리 및 DIY 작업을 지원하는 다중모odal 대화형 에이전트를 개발하기 위한 첫 번째 대규모 경쟁인 Alexa Prize TaskBot 챌린지를 소개한다. CoBot 툴킷을 통한 빠른 개발, 대화 관리 및 다중모달 상호작용 분야의 참가자 혁신, 첫 해 동안의 높은 사용자 참여도와 만족도를 보여준다.

ABSTRACT

Since its inception in 2016, the Alexa Prize program has enabled hundreds of university students to explore and compete to develop conversational agents through the SocialBot Grand Challenge. The goal of the challenge is to build agents capable of conversing coherently and engagingly with humans on popular topics for 20 minutes, while achieving an average rating of at least 4.0/5.0. However, as conversational agents attempt to assist users with increasingly complex tasks, new conversational AI techniques and evaluation platforms are needed. The Alexa Prize TaskBot challenge, established in 2021, builds on the success of the SocialBot challenge by introducing the requirements of interactively assisting humans with real-world Cooking and Do-It-Yourself tasks, while making use of both voice and visual modalities. This challenge requires the TaskBots to identify and understand the user's need, identify and integrate task and domain knowledge into the interaction, and develop new ways of engaging the user without distracting them from the task at hand, among other challenges. This paper provides an overview of the TaskBot challenge, describes the infrastructure support provided to the teams with the CoBot Toolkit, and summarizes the approaches the participating teams took to overcome the research challenges. Finally, it analyzes the performance of the competing TaskBots during the first year of the competition.

연구 동기 및 목표

• 대화형 AI를 가벼운 대화를 넘어서 실생활 작업을 수행하는 데 적극적으로 도와주는 에이전트를 개발함으로써 발전시키기 위해.
• 다중모달 환경에서 작업 중심 대화형 에이전트의 훈련 데이터 부족 및 평가 프레임워크 부족 문제를 해결하기 위해.
• 대학 팀들이 다중모달 TaskBot을 구축하고 배포할 수 있도록 지원하는 확장 가능한 인프라—CoBot 툴킷을 개발하기 위해.
• 복잡한 다단계 작업 중에 유용하고 흥미진취적이며 일관된 상호작용을 유지하는 TaskBot의 효과성을 평가하기 위해.
• 실제 배포 및 피드백 수집을 통해 실생활 작업 지원 시나리오에서 사용자 행동과 상호작용 패턴을 이해하기 위해.

제안 방법

• TaskBot 챌린지는 음성과 시각 상호작용을 가능하게 하는 다중모달 Alexa 기기들을 통해 Alexa 플랫폼에서 시작되었다.
• 이전 도구를 확장하여 작업 계획 수립, 지식 기반, 다중모달 대화 관리 기능을 지원하는 새로운 버전의 CoBot 툴킷이 출시되었다.
• 팀들은 CoBot 툴킷을 사용해 요리 및 DIY 도메인에서 사용자 요구를 처리하는 TaskBot을 개발하였으며, 도메인 지식 통합 및 작업 진행 추적을 수행했다.
• 사용자 상호작용은 아마존 직원을 대상으로 한 실시간 배포 이후 일반 대중에게로 확대되었으며, 구두 평가 및 작업 완료 프롬프트를 통해 피드백을 수집했다.
• 평가 과정은 예선, 준결승, 결승으로 구성되었으며, 봇 성능 향상을 위한 반복적인 피드백 루프가 구현되었다.
• 팀들에게 다중모달 디자인 최적 실천 방법이 공유되었으며, 힌트, 터치, APL 템플릿을 통한 시각적 지원을 포함한 음성 우선 상호작용에 중점을 두었다.

실험 결과

연구 질문

• RQ1 요리 및 DIY 프로젝트와 같은 복잡한 다단계 실생활 작업을 효과적으로 지원하기 위해 대화형 에이전트는 어떻게 설계할 수 있는가?
• RQ2 음성, 시각, 터치 상호작용을 유기적으로 통합하는 다중모달 작업 보조기에서 발생하는 주요 과제는 무엇인가?
• RQ3 사용자는 탐색적 시나리오와 목표 지향적 시나리오에서 어떻게 작업 보조기와 상호작용하는가, 그리고 시스템은 양자 모두에 적응할 수 있는가?
• RQ4 다중모달 작업 보조에서 사용자 참여도와 작업 완료율을 극대화하기 위한 설계 패턴과 상호작용 전략는 무엇인가?
• RQ5 동적 작업 상태와 사용자 중단 상황을 관리하면서 대화 시스템은 어떻게 일관성과 맥락을 유지할 수 있는가?

주요 결과

• 검색 및 실행 단계 동안 평균 대화 턴 수는 각각 5.83과 5.50이었으며, 이는 작업의 복잡성에도 불구하고 중간 수준의 상호작용 길이를 나타낸다.
• 사용자들은 사전에 정의된 작업이 아닌 TaskBot의 기능 탐색을 자주 수행했으며, 이는 팀들이 엄격한 작업 실행을 넘어서 탐색 및 탐색 지원 기능을 제공해야 함을 의미한다.
• 시각적 힌트와 점진적 정보 공개 기법의 사용은 사용자 탐색 및 작업 이해도를 크게 향상시켰다.
• 작업 단계의 예상 소요 시간과 사용자 평가를 통합한 팀은 더 높은 사용자 만족도와 작업 명확도를 경험했다.
• 챌린지의 결승 라운드에서는 대화 일관성과 작업 지원 능력이 뛰어나, 여러 봇이 높은 사용자 참여도와 완료율을 달성했다.
• CoBot 툴킷은 엔지니어링 오버헤드를 효과적으로 줄였으며, 팀들이 대화 관리 및 지식 기반 분야의 核심 AI 혁신에 집중할 수 있도록 했다.