[논문 리뷰] ALFWorld: Aligning Text and Embodied Environments for Interactive Learning

Mohit Shridhar, Xingdi Yuan외 4명|arXiv (Cornell University)|2020. 10. 08.

Multimodal Machine Learning Applications참고 문헌 57인용 수 27

한 줄 요약

ALFWorld는 텍스트 기반 및 몸체화된 시뮬레이션 환경을 병렬로 제공하는 상호작용 가능한 환경으로, 에이전트가 ALFRED의 실제 세계 유사 몸체화된 작업에 전이하기 전에 TextWorld에서 추상적이고 언어 기반의 정책을 사전 훈련할 수 있도록 한다. BUTLER 에이전트는 추상적 텍스트 세계에서 암시적 학습을 통해 훈련되며, 7배 빠른 훈련 속도와 빈도 기반 훈련보다 향상된 성능을 기록하며 새로운 몸체화된 환경으로의 제로샷 일반화를 달성한다.

ABSTRACT

Given a simple request like Put a washed apple in the kitchen fridge, humans can reason in purely abstract terms by imagining action sequences and scoring their likelihood of success, prototypicality, and efficiency, all without moving a muscle. Once we see the kitchen in question, we can update our abstract plans to fit the scene. Embodied agents require the same abilities, but existing work does not yet provide the infrastructure necessary for both reasoning abstractly and executing concretely. We address this limitation by introducing ALFWorld, a simulator that enables agents to learn abstract, text based policies in TextWorld (Côté et al., 2018) and then execute goals from the ALFRED benchmark (Shridhar et al., 2020) in a rich visual environment. ALFWorld enables the creation of a new BUTLER agent whose abstract knowledge, learned in TextWorld, corresponds directly to concrete, visually grounded actions. In turn, as we demonstrate empirically, this fosters better agent generalization than training only in the visually grounded environment. BUTLER's simple, modular design factors the problem to allow researchers to focus on models for improving every piece of the pipeline (language understanding, planning, navigation, and visual scene understanding).

연구 동기 및 목표

• 신규 환경 간 일반화 능력의 격차를 해소하기 위해 추상적이고 언어 기반의 환경에서의 사전 훈련을 가능하게 하기 위해.
• 텍스트 기반 상호작용과 기반된 시각-물리적 환경 간의 정렬된 병렬 시뮬레이션 프레임워크를 구축하기 위해.
• 텍스트 공간에서의 추상적 추론이 몸체화된 작업 수행에서 일반화와 효율성을 향상시킨다는 것을 입증하기 위해.
• 언어 이해, 계획 수립, 실행을 분리하는 모듈러한 에이전트 아키텍처(BUTLER)를 설계하여 개별 모델 개선을 가능하게 하기 위해.
• 텍스트 기반 환경에서의 사전 훈련이 빈도 기반 환경에서의 훈련보다 더 높은 성능과 더 빠른 수렴을 이끌어내는지 검증하기 위해.

제안 방법

• ALFWorld는 TextWorld와 ALFRED를 통합하여 텍스트 및 시각 모odalities를 병행하는 유일한 시뮬레이터로, 추상적 및 몸체화된 형태에서 정렬된 상호작용을 가능하게 한다.
• BUTLER 에이전트는 먼저 텍스트 기반의 TextWorld 환경에서 암시적 학습을 통해 고수준 언어 기반 정책을 학습한다.
• TextWorld에서 생성된 고수준 텍스트 동작은 내비게이터와 시각적 시나리오 해석기 포함의 모듈러 파이프라인을 통해 저수준 물리적 동작으로 매핑된다.
• 에이전트는 템플릿 기반 상태 추정기로 텍스트 세계 내에서 물체의 위치와 조건을 추적하여 구조적 추론을 가능하게 한다.
• 시스템은 제로샷 전이를 지원한다: 텍스트에서 학습된 정책은 추가 미세조정 없이도 ALFRED의 새로운 몸체화된 작업에 직접 적용된다.
• 프레임워크는 향후 학습된 역학 모델이 기호적 상태 기술을 대체할 수 있도록 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접 시각 환경에서 훈련하는 것과 비교해, 추상적 텍스트 기반 환경에서의 사전 훈련이 새로운 몸체화된 작업으로의 일반화를 향상시키는가?
• RQ2 언어 기반 정책의 성능와 훈련 효율성은 기반된 시각-물리적 환경으로 어떻게 전이되는가?
• RQ3 언어 이해, 계획 수립, 실행을 분리하는 모듈러한 에이전트 아키텍처가 일반화와 유지보수성에 얼마나 기여하는가?
• RQ4 기호적이고 언어 기반의 공간에서의 추론은 시각 기반 상태 표현보다 시각-언어 기반화에 더 좋은 사전 지식을 제공하는가?
• RQ5 텍스트 기반 정책 엔진을 사용하여 새로운 환경에서 저수준 로봇 제어기의 전이 가능한 고수준 하위목표를 생성할 수 있는가?

주요 결과

• TextWorld에서 사전 훈련된 BUTLER는 ALFRED의 새로운 몸체화된 작업으로 제로샷 일반화를 달성하며, 추상적 정책 전이의 실현 가능성을 입증한다.
• 텍스트 기반 환경에서의 훈련은 시각-몸체화된 환경에서 처음부터 훈련하는 것보다 7배 빠르며, 최종 성능도 더 뛰어나다.
• TextWorld에서 더 적은 게임으로 훈련한 에이전트는 곧바로 오버피팅되어 평가에서 실패하는 반면, 더 많은 게임으로 훈련한 에이전트는 본래의 설정과 새로운 설정 모두에서 더 나은 일반화를 보인다.
• BUTLER의 모듈러한 설계 덕분에 내비게이터나 상태 추정기와 같은 구성 요소를 별도로 업그레이드할 수 있어 향후 엔드 투 엔드 학습이 가능하다.
• 추상적 텍스트 세계에서의 사전 훈련은 전문가 시퀀스의 코퍼스나 시각 세계에서 처음부터 훈련하는 것보다 더 나은 일반화를 이끌어낸다.
• 텍스트 세계와 몸체화된 세계 간의 정렬은 물체의 기능성, 사전 조건과 같은 의미적 사전 지식을 학습하게 하여, 새로운 환경에서의 강력한 추론을 지원한다.