[논문 리뷰] VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning

Xiaofeng Gao, Ran Gong외 4명|arXiv (Cornell University)|2019. 03. 13.

Reinforcement Learning in Robotics참고 문헌 51인용 수 35

한 줄 요약

VRKitchen은 사진 리얼리스틱한 VR 주방 환경과 미세한 물체 조작을 제공하여 시연으로부터 학습하고 작업 지향 학습을 위한 벤치마크를 가능하게 합니다. VR를 통한 인간 시연과 Python API를 통한 AI 에이전트 모두를 지원하고, VR Chef Challenge를 통한 표준화된 평가를 제공합니다.

ABSTRACT

One of the main challenges of advancing task-oriented learning such as visual task planning and reinforcement learning is the lack of realistic and standardized environments for training and testing AI agents. Previously, researchers often relied on ad-hoc lab environments. There have been recent advances in virtual systems built with 3D physics engines and photo-realistic rendering for indoor and outdoor environments, but the embodied agents in those systems can only conduct simple interactions with the world (e.g., walking around, moving objects, etc.). Most of the existing systems also do not allow human participation in their simulated environments. In this work, we design and implement a virtual reality (VR) system, VRKitchen, with integrated functions which i) enable embodied agents powered by modern AI methods (e.g., planning, reinforcement learning, etc.) to perform complex tasks involving a wide range of fine-grained object manipulations in a realistic environment, and ii) allow human teachers to perform demonstrations to train agents (i.e., learning from demonstration). We also provide standardized evaluation benchmarks and data collection tools to facilitate a broad use in research on task-oriented learning and beyond.

연구 동기 및 목표

• AI의 학습을 위한 현실적이고 표준화된 환경의 부족을 해결한다.
• 현실적인 주방 설정에서 미세하고 복합적인 물체 조작을 가능하게 한다.
• 시연 학습과 계획 작업 학습을 용이하게 하기 위해 인간 시연(VR)과 AI 학습(Python API) 모두에 대한 인터페이스를 제공한다.
• 3D 환경에서 학습 알고리즘의 광범위한 평가를 가능하게 하는 표준화된 벤치마크와 데이터 수집 도구를 제공한다.

제안 방법

• 물리 기반 시뮬레이션과 포토리얼리스틱 렌더링을 갖춘 Unreal Engine 4 위에 구성된 가상 주방 환경.
• 각 씬에서 55개의 대화형 객체와의 상호 작용 및 상태 변화를 시뮬레이션하기 위해 상세한 구현을 가진 휴머노이드 에이전트.
• 객체를 구성요소로 분해하고 각 구성요소에 별개의 어포던스가 있는 미세하고 구성 가능한 물체 상호 작용.
• 두 가지 시연 인터페이스: 연속적 행동을 위한 VR 기반 원격 조작과 이산적 행동 시퀀스 및 월드 상태 뷰를 위한 Python API.
• 고급 명령을 모터 제어 신호로 매핑하는 Python–UE4 브리지로 저수준(이동/회전)과 고수준(원자적 동작) 제어를 구현하는 컨트롤러.
• 도구 사용 및 접시 준비 작업으로 학습 및 계획 알고리즘을 벤치마크하기 위한 VR Chef Challenge를 제공한다.

실험 결과

연구 질문

• RQ1 실감 나는 3D 가상 환경에서 풍부한 객체 상태 변화가 장기적이고 작업 지향적인 목표 학습을 지원할 수 있는가?
• RQ2 사람의 시연(VR)과 AI 학습을 결합한 학습이 복잡한 요리 작업의 효율적 훈련을 가져올 수 있는가?
• RQ3 3D 주방 시뮬레이션에서 모터 제어와 시각적 계획을 획득하는 데 있어 현재의 심층 RL 방법의 능력과 한계는 무엇인가?
• RQ4 표준화된 벤치마크와 데이터셋(UCLA VR Chef Dataset 등)이 3D 환경에서 작업 지향 학습 접근법의 비교를 촉진하는가?

주요 결과

• VRKitchen은 칼질, 껍질 벗기, 요리, 조립과 같은 작업을 가능하게 하는 미세한 행동과 상태 변화를 긴 시퀀스로 수행할 수 있다.
• A2C, DDPG, PPO를 이용한 실험에서 RL 에이전트는 도구 사용 과제의 큰 상태 공간에서 어려움을 겪으며 3D 동적 환경에서의 학습 과제를 강조한다.
• 세 가지 접시 준비 과제는 난이도에 따라 수렴이 다르게 나타났으며, 쉬운 과제는 일부 알고리즘으로 거의 최적에 수렴하고, 중간 난이도 과제는 PPO에서 수렴하며, 어려운 과제는 테스트된 RL 방법으로 해결되지 않는다.
• VR 디바이스를 통한 인간 시연은 부트스트랩과 시연 학습에 데이터를 제공하며 UCLA VR Chef Dataset이 도입되었다.
• 이 시스템은 연속적 액션 원격 조작성과 이산적 액션 시퀀스를 모두 지원하는 Python API를 통해 유연한 학습 및 평가 워크플로를 가능하게 한다.