[논문 리뷰] AllenAct: A Framework for Embodied AI Research

Luca Weihs, Jordi Salvador외 5명|arXiv (Cornell University)|2020. 08. 28.

Reinforcement Learning in Robotics참고 문헌 59인용 수 44

한 줄 요약

AllenAct은 Embodied AI 연구를 위한 환경, 작업, 학습 파이프라인을 통합하는 모듈식 Python/PyTorch 프레임워크로, 여러 환경과 알고리즘에 걸친 재현 가능한 실험을 가능하게 합니다.

ABSTRACT

The domain of Embodied AI, in which agents learn to complete tasks through interaction with their environment from egocentric observations, has experienced substantial growth with the advent of deep reinforcement learning and increased interest from the computer vision, NLP, and robotics communities. This growth has been facilitated by the creation of a large number of simulated environments (such as AI2-THOR, Habitat and CARLA), tasks (like point navigation, instruction following, and embodied question answering), and associated leaderboards. While this diversity has been beneficial and organic, it has also fragmented the community: a huge amount of effort is required to do something as simple as taking a model trained in one environment and testing it in another. This discourages good science. We introduce AllenAct, a modular and flexible learning framework designed with a focus on the unique requirements of Embodied AI research. AllenAct provides first-class support for a growing collection of embodied environments, tasks and algorithms, provides reproductions of state-of-the-art models and includes extensive documentation, tutorials, start-up code, and pre-trained models. We hope that our framework makes Embodied AI more accessible and encourages new researchers to join this exciting area. The framework can be accessed at: https://allenact.org/

연구 동기 및 목표

• Embodied AI (E-AI) 연구에서 산재성을 줄이기 위한 통합적이고 모듈식 프레임워크를 고안한다.
• 여러 E-AI 환경과 작업에 대한 일급 지원을 제공한다.
• 유연한 학습 파이프라인과 사전 학습 모델로 재현 가능한 실험을 촉진한다.
• 학습 진입 비용을 낮추고 E-AI 연구에 더 넓은 참여를 촉진한다.

제안 방법

• 추상화 도입: ActorCriticModel, Sensor, Environment, Task, TaskSampler, Losses, 및 TrainingPipeline.
• Environment와 Task를 분리하여 유연한 목표 정의와 환경 간 손쉬운 작업 교체를 가능하게 한다.
• 정책-기반 PPO/A2C, IL (imitation learning), DAgger, 및 유연한 손실 조합으로 오프라인 학습을 포함한 다양한 학습 regime을 지원한다.
• 단계적 순서와 커리큘럼 스타일 학습을 위한 선택적 teacher forcing를 갖춘 유연한 TrainingPipeline을 제공한다.
• 재현성 및 디버깅 향상을 위해 다중 에이전트 지원, 시각화 도구, 및 사전 학습 모델을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈식 프레임워크가 여러 개의 embodied 환경과 작업을 하나로 묶어 연구 워크플로를 간소화할 수 있는가?
• RQ2 하나의 training-pipeline 추상화가 다양한 학습 신호(RL, IL, offline) 및 커리큘럼 전략을 얼마나 지원할 수 있는가?
• RQ3 Embodied AI 연구에서 재현성 및 교차 환경 일반화를 향상시키는 설계 선택은 무엇인가?
• RQ4 Task와 Environment를 분리하면 새로운 Task와 Environment의 추가가 더 쉬워지는가?
• RQ5 다중 에이전트 및 시각화 기능이 E-AI에서 방법 개발 및 평가를 가속화할 수 있는가?

주요 결과

• AllenAct는 DD-PPO를 사용하여 iTHOR, RoboTHOR, Habitat 전반의 결과를 재현한다.
• 프레임워크는 BabyAI의 GoToLocal을 지원하며 IL/RL 하이브리드가 상대적으로 적은 단계로도 높은 테스트 성능을 달성할 수 있음을 보여준다.
• IL-to-RL 파이프라인(예: BC/DAgger 다음에 PPO)은 성능을 높일 수 있으며, 적응형 IL-RL 결합 전략이 MiniGrid 작업에서 최상의 성능을 낸다.
• teacher forcing 및 오프라인 감독으로 온-정책 제약을 넘어서 알고리즘적 가능성을 확장한다.
• 다중 에이전트 실험(예: Stag Hunt)은 재현 가능하고 유사한 설정에서 이전 연구와 유사한 보상을 산출한다.
• 프레임워크에는 재현성 및 온보딩을 돕기 위한 사전 학습 모델과 튜토리얼이 포함되어 있다.