[논문 리뷰] VRKitchen2.0-IndoorKit: A Tutorial for Augmented Indoor Scene Building in Omniverse

Yizhou Zhao, Steven Gong외 3명|arXiv (Cornell University)|2022. 06. 23.

Human Motion and Animation인용 수 4

한 줄 요약

이 논문은 NVIDIA Omniverse에 통합된 Python 기반 툴킷인 IndoorKit을 소개한다. 이 툴킷을 통해 연구자들은 사진처럼 사실적인, 물리 기반 시뮬레이션을 적용한 실내 환경을 구축할 수 있다. IndoorKit는 다양한 실내 환경을 합성하고, 시나리오 무작위화를 적용하며, 로봇 제어나 아바타 애니메이션과 같은 몸체 기반 AI 작업을 위한 기계 학습 모델과 통합할 수 있도록 유일한 확장 가능한 파이프라인을 제공한다. 이는 USD와 GPU 가속 시뮬레이션을 활용한다.

ABSTRACT

With the recent progress of simulations by 3D modeling software and game engines, many researchers have focused on Embodied AI tasks in the virtual environment. However, the research community lacks a platform that can easily serve both indoor scene synthesis and model benchmarking with various algorithms. Meanwhile, computer graphics-related tasks need a toolkit for implementing advanced synthesizing techniques. To facilitate the study of indoor scene building methods and their potential robotics applications, we introduce INDOORKIT: a built-in toolkit for NVIDIA OMNIVERSE that provides flexible pipelines for indoor scene building, scene randomizing, and animation controls. Besides, combining Python coding in the animation software INDOORKIT assists researchers in creating real-time training and controlling avatars and robotics. The source code for this toolkit is available at https://github.com/realvcla/VRKitchen2.0-Tutorial, and the tutorial along with the toolkit is available at https://vrkitchen20-tutorial.readthedocs.io/en/

연구 동기 및 목표

• 몸체 기반 AI 알고리즘의 시뮬레이션 및 벤치마크를 지원하는 통합 플랫폼의 부족을 해결한다.
• Omniverse 내에서 유연하고 확장 가능한 툴킷을 제공하여 로봇공학 및 AI 연구를 위한 시나리오 구축, 무작위화, 시뮬레이션을 간소화한다.
• 사진처럼 사실적인 3D 자원과 물리 시뮬레이션을 사용해 실시간으로 아바타와 로봇을 훈련 및 제어할 수 있도록 한다.
• USD를 통해 다양한 3D 형식(예: 3D-Front, SAPIEN, iTHOR)과 시뮬레이션 파이프라인 간의 상호운용성을 촉진한다.
• 기계 학습 모델을 시뮬레이션 워크플로우에 통합하여 탐색, 조작, 애니메이션과 같은 후속 작업을 지원한다.

제안 방법

• 장면 구축 및 애니메이션을 위한 저수준 시뮬레이션 및 렌더링 제어를 노출하기 위해 NVIDIA Omniverse의 Python API를 활용한다.
• 다양한 실내 시나리오 데이터셋(예: 3D-Front, iTHOR, SAPIEN)을 지원하며, 메타데이터 및 시각화 도구를 통해 사용자 정의 데이터셋 통합도 가능하다.
• 모델, 텍스처, 조명, 애니메이션을 포함한 전체 시나리오 데이터를 저장하고 전송하기 위해 표준화된 압축 형식인 USD(유니버설 장면 서술)를 사용한다.
• Omniverse의 물리 엔진을 통해 강체, 연성체, 관절 구조체, 유체 등 다양한 물체 유형의 실시간 물리 시뮬레이션을 지원한다.
• 파이토치, 텐서플로우 등의 딥러닝 프레임워크와 파이썬 스크립팅을 통해 통합하여 신경망 정책의 엔드 투 엔드 훈련을 가능하게 한다.
• 학습의 일반화를 향상시키기 위해 배경, 재질, 장식, 조명 등의 무작위화 전략을 내장하고 있다.

실험 결과

연구 질문

• RQ1 통합된 툴킷을 통해 몸체 기반 AI 연구를 위한 사진처럼 사실적인, 물리적으로 정확한 실내 환경을 어떻게 간편하게 구축할 수 있는가?
• RQ2 단일 시뮬레이션 플랫폼에서 3D 시나리오 합성, 물리 시뮬레이션, 기계 학습 훈련을 통합하기 위한 핵심 기술적 요구사항은 무엇인가?
• RQ3 시나리오 무작위화 전략은 시뮬레이션된 실내 환경에서 AI 에이전트의 내성적 탄력성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ4 표준화된 장면 서술 형식(USD)은 3D 모델링 도구와 시뮬레이션 엔진 간의 상호운용성에 어떤 역할을 하는가?
• RQ5 연구자들은 로봇공학 및 아바타 제어를 위한 시뮬레이션 파이프라인에 어떻게 효율적으로 사용자 정의 데이터셋과 사전 훈련된 모델을 통합할 수 있는가?

주요 결과

• IndoorKit는 3D-Front, iTHOR, SAPIEN 등의 다양한 3D 실내 시나리오 데이터셋을 USD를 사용해 하나의 확장 가능한 시뮬레이션 파이프라인에 원활하게 통합할 수 있다.
• 배경, 재질, 장식, 조명 등의 무작위화 전략은 훈련 환경의 다양성과 현실성 향상에 크게 기여한다.
• AMASS 및 Mixamo 자원과의 통합을 통해 복잡한 시나리오에서도 물리적으로 정확한 운동을 구현할 수 있는 애니메이터블 아바타와 로봇 에이전트의 실시간 제어를 달성했다.
• Omniverse에서 GPU 가속 물리 시뮬레이션과 신경망 훈련을 통해 복잡한 상호작용을 저지연, 고정밀도로 시뮬레이션할 수 있다.
• 장면 로딩 및 레이블링에서 모델 훈련 및 평가에 이르기까지 종단 간 워크플로우를 지원하여 개발 오버헤드를 줄였다.
• 포괄적인 문서, 튜토리얼, 그리고 GitHub 및 ReadTheDocs를 통한 오픈소스 공개로 몸체 기반 AI 및 로봇공학 분야의 연구자들이 접근하기 쉬운 환경을 조성했다.