[논문 리뷰] The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion Planning Benchmark for Physically Realistic Embodied AI

Chuang Gan, Siyuan Zhou외 9명|arXiv (Cornell University)|2021. 03. 25.

Reinforcement Learning in Robotics참고 문헌 47인용 수 12

한 줄 요약

이 논문은 사진 및 물리적으로 현실적인 3D 환경에서 신체적 에이전트가 두 개의 9-DOF 팔을 가지고 산산이 흩어진 물체를 찾아 옮기고, 도구로 사용할 수 있는 용기를 활용해 목표 위치로 운반해야 하는 물리 기반, 시각 유도 태스크-모션 플래닝 벤치마크인 ThreeDWorld 운반 과제를 소개한다. 최신 기술 모델에도 불구하고 어느 에이전트도 완전한 성공을 달성하지 못했으며, 최고의 운반 성공률는 52%에 그쳐 과제의 난이도와 물리적 인공지능에서 학습과 계획의 통합이 필요한 이유를 드러낸다.

ABSTRACT

We introduce a visually-guided and physics-driven task-and-motion planning benchmark, which we call the ThreeDWorld Transport Challenge. In this challenge, an embodied agent equipped with two 9-DOF articulated arms is spawned randomly in a simulated physical home environment. The agent is required to find a small set of objects scattered around the house, pick them up, and transport them to a desired final location. We also position containers around the house that can be used as tools to assist with transporting objects efficiently. To complete the task, an embodied agent must plan a sequence of actions to change the state of a large number of objects in the face of realistic physical constraints. We build this benchmark challenge using the ThreeDWorld simulation: a virtual 3D environment where all objects respond to physics, and where can be controlled using fully physics-driven navigation and interaction API. We evaluate several existing agents on this benchmark. Experimental results suggest that: 1) a pure RL model struggles on this challenge; 2) hierarchical planning-based agents can transport some objects but still far from solving this task. We anticipate that this benchmark will empower researchers to develop more intelligent physics-driven robots for the physical world.

연구 동기 및 목표

• 실제 3D 환경에서 물리적 상호작용과 물체 상태 조작을 포함한 복잡한 장기 환경 태스크를 수행할 수 있는 몸체 기반 AI 에이전트의 능력을 평가할 수 있는 벤치마크를 개발하는 것.
• 기존의 벤치마크에서 부족한 점을 보완하기 위해 단순한 시각적 탐색이나 의미 기반 기반보다는 물리적 인지 기반 탐색, 상호작용 및 도구 사용에 중점을 두는 것.
• 물리적으로 현실적인 시뮬레이터에서 하이브리드 학습-플래닝 접근법의 평가를 가능하게 하여 가정용 로봇의 시뮬레이션에서 실제 환경으로의 전이를 촉진하는 것.
• 물리적 제약 조건 하에서 탐색, 집기, 물체 운반, 도구 활용에 이르기까지 통합된 계획 수립이 요구되는 현재의 AI 에이전트를 도전하는 것.
• 고정밀도 상호작용을 위한 완전히 물리 기반 API를 갖춘 ThreeDWorld 시뮬레이션 플랫폼을 사용해 표준화되고 개방된 벤치마크를 제공하는 것.

제안 방법

• 벤치마크는 모든 물체에 대해 사진적 현실감과 고정밀도 물리 모델을 지원하는 ThreeDWorld(TDW) 시뮬레이션 플랫폼을 기반으로 구축된다.
• 에이전트는 다중 실내, 물리적으로 시뮬레이션된 주거 환경에 무작위로 스폰되며, 흩어진 물체와 이동 가능한 용기(도구로 사용 가능)가 존재한다.
• 완전히 물리 기반의 고수준 API를 통해 관절 수준 제어와 물리적 역학을 활용해 탐색, 집기, 들어올리기, 놓기 등의 동작을 실행할 수 있다.
• 과제는 태스크-모션 플래닝을 수행해야 하며, 환경 탐색, 물체 탐색, 다수의 물체를 운반하기 위해 용기를 활용, 목표 위치로 운반하는 것을 포함한다.
• 계층적 플래닝 프레임워크를 사용하며, 하위 목표(예: 찾기, 집기, 반경, 놓기)와 A-star 기반 저수준 플래너를 통해 경로 탐색 및 동작 실행을 수행한다.
• 충돌에 의한 낙하, 접근 가능성 한계, 가림 현상 등의 동적 제약 조건이 환경에 포함되어 있어, 에이전트가 물리적 타당성을 고려해 사고해야 한다.

실험 결과

연구 질문

• RQ1 기존의 학습 기반 및 플래닝 기반 에이전트는 다수의 물체 조작과 도구 사용을 포함한 장기 환경, 물리적으로 현실적인 과제를 성공적으로 완수할 수 있는가?
• RQ2 학습 기반(Active, Semantic)과 비학습 기반(Frontier) 탐색 전략 간의 운반 효율성과 내구성은 어떻게 비교되는가?
• RQ3 강화 학습에 플래닝을 통합할 경우, 물리적 요소가 풍부한 환경에서 복잡한 태스크-모션 플래닝 성능은 어느 정도 향상되는가?
• RQ4 이 벤치마크에서 종단 간 강화 학습 에이전트의 주요 실패 원인은 무엇인지, 특히 물리적 상호작용과 탐색에서 나타나는가?
• RQ5 용기를 도구로 포함시킬 경우 과제의 복잡성과 해결 전략은 어떻게 변화하는가?

주요 결과

• 모든 에이전트가 100% 운반 성공률를 달성하지 못했으며, 최고 성능 모델도 5개의 미리보지 않은 집에서 평균 52%의 운반 성공률에 그쳤다. 이는 벤치마크의 높은 난이도를 시사한다.
• 순수 강화 학습(RL) 에이전트는 물리적 상호작용의 어려움과 큰 탐색 공간으로 인해 빈도가 낮은 12%의 운반 성공률를 기록했다.
• 웨이포인트 기반 탐색(예: Frontier, Active, Semantic)을 사용하는 계층적 플래닝 기반 에이전트는 순수 RL에 비해 뚜렷이 뛰어난 성능을 보였으며, 운반 성공률는 50~52%에 달했다.
• RL 탐색 베이스라인(행동 예측)은 충돌과 실패한 집기로 인해 효율성과 운반 성공률가 낮게 나타났다.
• 학습 기반 탐색 방법(Active 및 Semantic)은 비학습 기반 Frontier 탐색보다 성능이 떨어졌으며, 이는 훈련 레이아웃에서의 일반화 부족과 물리적 인지 기반 지도의 부재 때문일 것이다.
• 정성적 분석 결과, 플래닝 기반 에이전트는 최적 경로를 따르고 장애물을 피하는 반면, RL 에이전트는 자주 충돌하는 것으로 나타나, 구조화된 하위 목표 플래닝의 가치를 입증했다.