[논문 리뷰] Alexa Arena: A User-Centric Interactive Platform for Embodied AI

Qiaozi Gao, Govind Thattai외 25명|arXiv (Cornell University)|2023. 03. 02.

Social Robot Interaction and HRIPsychology인용 수 3

한 줄 요약

Alexa Arena는 다채널 환경에서 다양한 인과적 연결된 물체 상태를 갖춘 상호작용적이고 다중 실내 환경을 통해 스케일러블한 인간-로봇 상호작용(HRI) 데이터 수집 및 평가를 가능하게 하는 사용자 중심의 게임화된 시뮬레이션 플랫폼이다. 3,000개의 고유한 작업과 46,000개의 주석이 달린 대화 유도 작업 완료 벤치마크를 도입하여, 시각적 기반, 언어 모호성, 경로 계획 등의 과제를 드러내는 베이스라인 성능을 달성하였다.

ABSTRACT

We introduce Alexa Arena, a user-centric simulation platform for Embodied AI (EAI) research. Alexa Arena provides a variety of multi-room layouts and interactable objects, for the creation of human-robot interaction (HRI) missions. With user-friendly graphics and control mechanisms, Alexa Arena supports the development of gamified robotic tasks readily accessible to general human users, thus opening a new venue for high-efficiency HRI data collection and EAI system evaluation. Along with the platform, we introduce a dialog-enabled instruction-following benchmark and provide baseline results for it. We make Alexa Arena publicly available to facilitate research in building generalizable and assistive embodied agents.

연구 동기 및 목표

• 게임화를 통해 사용자 참여를 증진시켜 기존 Embodied AI 플랫폼의 스케일러블하고 고품질의 인간-로봇 상호작용(HRI) 데이터 수집의 한계를 해결하기 위해.
• 구성적이고 인과적으로 연결된 상태 변화와 다수의 해결 경로를 갖춘 미션을 설계하여 일반화 가능한 보조 기능을 갖춘 Embodied 에이전트의 개발을 가능하게 하기 위해.
• rich한 시각적 및 언어적 입력을 갖춘 현실적인 상호작용 시뮬레이션 환경을 통해 다중 모달 에이전트의 엔드 투 엔드 훈련 및 평가를 지원하기 위해.
• 자연어 지시 하에 복잡한 추론, 절차적 계획 수립, 시각적 기반을 캡처하는 대화 유도 작업 완료를 위한 벤치마크를 제공하기 위해.
• 실시간으로 인간-에이전트 상호작용을 가능하게 하는 웹 기반 UI를 통해 동적인 사용자 주도 시나리오에서의 에이전트 행동 평가를 지원하기 위해.

제안 방법

• 10개의 다중 실내 레이아웃과 335종 이상의 상호작용 가능한 물체 유형(예: 냉동 레이저, 시간 기계 등 신화적인 물체 포함)을 갖춘 3D 시뮬레이션 환경 설계로 다양한 상태 전이를 가능하게 하였다.
• 사용자 참여 및 참여도를 향상시키기 위해 시각적 피드백, 점수, 성취도, 작업 유도 UI 요소를 포함한 게임 같은 인터페이스를 구현하였다.
• 3,000개의 고유한 미션을 포함하고, 전문가 시연, 인간 주석이 달린 언어 지시문, 대화 턴이 포함된 대화 유도 작업 완료 벤치마크를 구축하였다.
• 실시간으로 인간 사용자와 Embodied 에이전트 간의 상호작용을 가능하게 하는 웹 기반 UI를 개발하여 대화 및 동작 정책의 실시간 평가를 가능하게 하였다.
• 언어와 시각적 관측을 동시에 인코딩하여 행동과 물체 마스크를 예측하는 엔드 투 엔드 다중 모달 모델(Neural-Symbolic 및 비전-언어)을 훈련시켰다.
• 시각적 기반 성능을 별도로 평가하기 위해 마스크된 영역 예측 헤드를 도입하였고, 추론에서 물체 탐지 기능을 분리하여 분석하는 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 시뮬레이션 플랫폼에서의 게임화가 인간-로봇 상호작용(HRI) 데이터 수집의 스케일러비리티와 품질을 크게 향상시킬 수 있는가?
• RQ2 다중 물체 인스턴스가 존재하는 복잡하고 시각적으로 혼잡한 환경에서 다중 모달 모델은 자연어 지시문을 특정 물체에 정확히 기반시킬 수 있는가?
• RQ3 엔드 투 엔드 대화 유도 작업 완료에서 주요 실패 유형은 무엇인가? 특히 경로 계획, 언어 모호성, 시각적 인식 측면에서의 문제는 무엇인가?
• RQ4 언어적 맥락이 아닌 시각적 자극에만 의존할 경우, 시각적 기반 성능은 어느 정도 저하되는가?
• RQ5 풍부한 상태 전이와 상호작용 가능한 물체를 갖춘 사용자 중심의 시뮬레이션 플랫폼은 Embodied 에이전트의 더 일반화 가능하고 구성적인 추론을 가능하게 하는가?

주요 결과

• 기본 모델은 정답 행동을 사용할 경우 마스크된 영역 예측 작업에서 71.89%의 성공률을 달성하여 엔드 투 엔드 학습 하에서 시각적 기반에 큰 과제가 있음을 시사하였다.
• 모호한 언어로 인한 실패가 주요 문제였다. 예를 들어, '모니터가 올라와 있는 책상이 당신 앞에 있다'는 지시문은 여러 개의 책상이 존재할 경우 인스턴스 간 구분이 어려워 실패했다.
• 정확한 경로에서 벗어난 경우 에이전트가 무한 루프에 빠지며 잘못된 가정 하에 후속 지시를 따라가려는 경향을 보였고, 이는 더 나은 오류 복구 및 백트래킹 메커니즘의 필요성을 강조하였다.
• 모델들이 언어적 단서보다 가까운 시각적 자극(예: 캐비닛 문, 커피포트)에 더 많은 주의를 기울여, 레이저 캐논으로 가라는 지시에도 캐비닛을 여는 잘못된 행동을 취하는 경우가 빈번히 발생했다.
• 다단계의 장거리 지시(예: '오른쪽으로 돌아서, 브레이크룸으로 가서 그릇을 가열하고 테이블 위에 올려라')는 자주 오해되었으며, 이는 순차적이고 다단계 추론을 모델링하는 데에 한계가 있음을 시사하였다.
• 작거나 외관이 유사한 물체(예: 레이저 캐논 vs. 냉동 레이저)는 자주 잘못 식별되었고, 이는 미세한 시각적 및 언어적 이해의 지속적인 과제임을 재확인하였다.