[논문 리뷰] ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation

Chuang Gan, J. Schwartz외 22명|arXiv (Cornell University)|2020. 07. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 129

한 줄 요약

TDW는 거의 포토리얼리스틱 렌더링, 다중 재료 물리(강체, 소프트, 천, 유체 포함), 오디오 합성 및 VR 가능 인간/에이전트 상호 작용을 결합하여 AI 연구를 위한 풍부한 다중 모달 시뮬레이션을 생성하는 범용 가상 세계 플랫폼이다.

ABSTRACT

We introduce ThreeDWorld (TDW), a platform for interactive multi-modal physical simulation. TDW enables simulation of high-fidelity sensory data and physical interactions between mobile agents and objects in rich 3D environments. Unique properties include: real-time near-photo-realistic image rendering; a library of objects and environments, and routines for their customization; generative procedures for efficiently building classes of new environments; high-fidelity audio rendering; realistic physical interactions for a variety of material types, including cloths, liquid, and deformable objects; customizable agents that embody AI agents; and support for human interactions with VR devices. TDW's API enables multiple agents to interact within a simulation and returns a range of sensor and physics data representing the state of the world. We present initial experiments enabled by TDW in emerging research directions in computer vision, machine learning, and cognitive science, including multi-modal physical scene understanding, physical dynamics predictions, multi-agent interactions, models that learn like a child, and attention studies in humans and neural networks.

연구 동기 및 목표

• 단일 다중 모달 시뮬레이션 환경에서 구현형 AI 및 인지과학 모델의 학습 및 벤치마킹을 동기부여하고 가능하게 한다.
• 다양한 상호 작용 시나리오를 지원하기 위해 고충실도 시각 및 청각 렌더링과 고급 물리를 제공한다.
• 지각, 탐색 및 조작 과제를 위한 다양한 제어 가능한 환경을 생성하기 위해 유연한 API 및 자산 라이브러리를 제공한다.
• 시각, 오디오, 물리 예측, 다중 에이전트 상호 작용 및 인간-로봇 협업의 교차 도메인 실험을 통해 TDW의 활용도를 시연한다.
• 현실 세계에서 쉽게 라벨링되기 어려운 제어 가능한 물리 매개변수를 갖춘 합성 데이터를 생성할 수 있게 해 향후 연구를 촉진한다.

제안 방법

• 유니티 기반 렌더링과 두 가지 물리 엔진(NVIDIA Flex: 비강체/재료 상호작용용, PhysX: 강체용)을 통합한다.
• 렌더링/오디오/물리용 Unity 기반의 Build과 작업 지정을 위한 Python API인 Controller의 두 구성 요소 아키텍처를 제공하며, 200개가 넘는 명령과 단일 타임스텝 명령 배치를 지원한다.
• PBR 재료를 갖춘 절차적으로 생성된 3D 자산과 환경 및 2,500개 객체 라이브러리를 사용하여 확장 가능한 장면 생성을 가능하게 한다.
• 실시간 물리 기반 충격 음향 합성을 위한 PyImpact를 도입하고 3D 공간 음향을 위해 Resonance Audio를 사용한다.
• 객체에 대한 직접 API 제어, 구현형 AI 에이전트(로봇과 같은 Magnebot 및 URDF 임포트 봇 포함), VR-인간 상호 작용의 세 가지 상호 작용 패러다임을 지원한다.
• 시각 특징 전이, 음향 기반 재료 분류, 다중 모달 시맨틱 이해를 포함한 다중 모달 실험을 제시한다.

실험 결과

연구 질문

• RQ1 TDW에서 생성된 데이터가 실제 세계의 시각 및 오디오 과제에 효과적으로 일반화되는 표현을 학습시킬 수 있는가?
• RQ2 물리 정보를 포함한 다중 모달 시뮬레이션이 시각-청각 신호로부터 재료 특성과 질량 학습을 얼마나 잘 지원하는가?
• RQ3 TDW 생성 데이터와 HRN과 같은 아키텍처를 사용하여 엔드-투-엔드 미분 가능한 물리 예측을 학습할 수 있는가?
• RQ4 VR에서 다중 에이전트 상호작용과 주의 집중 연구를 위한 TDW의 활용도는 어떠하며 인간 에이전트와 신경 에이전트의 비교 차이는 무엇인가?
• RQ5 지각, 역학, 사회적 상호 작용 도메인에 걸친 확장 가능하고 제어 가능한 실험을 TDW가 어떻게 가능하게 하는가?

주요 결과

• TDW가 생성한 시각 표현은 여러 범주에서 ImageNet 사전 학습 모델에 근접한 성능으로 미세한 분류 작업으로 전달된다.
• TDW 합성 음향으로 학습된 음향 기반 재료 분류가 Sound-20K 베이스라인보다 크게 우수하여 더 풍부한 합성 음향 다양성이 일반화 향상을 시킴을 나타낸다.
• 다중 모달(시각+오디오) 입력은 재료 및 질량 분류 정확도를 단일 모달보다 더 높게 만들어, 현실적인 다중 모달 렌더링의 가치를 강조한다.
• TDW 데이터로 학습 가능한 물리 예측기(DRHRN)가 상승, 미끄러짐, 충돌, 적재, 천 등 시나리오의 역학 예측에서 베이스라인을 능가하여 일반화 및 형태 보존을 개선함을 보여준다.
• 이 플랫폼은 고급 물리적 장면 이해 벤치마크(예: 객체의 지속성, 드레이핑, 잠수)를 가능하게 하고 학습 기반 동역학 모델을 지원한다.