[논문 리뷰] Building Generalizable Agents with a Realistic and Rich 3D Environment

Yi Wu, Yuxin Wu외 2명|arXiv (Cornell University)|2018. 01. 07.

Multimodal Machine Learning Applications인용 수 253

한 줄 요약

본 논문은 SUNCG로부터 구축된 대규모의 사실적인 3D 실내 환경인 House3D를 소개하여 semantic-navigation 에이전트를 학습/벤치마크하며, 다단계 데이터 증강이 보지 못한 집들에 대한 일반화를 개선한다는 것을 보여준다.

ABSTRACT

Teaching an agent to navigate in an unseen 3D environment is a challenging task, even in the event of simulated environments. To generalize to unseen environments, an agent needs to be robust to low-level variations (e.g. color, texture, object changes), and also high-level variations (e.g. layout changes of the environment). To improve overall generalization, all types of variations in the environment have to be taken under consideration via different level of data augmentation steps. To this end, we propose House3D, a rich, extensible and efficient environment that contains 45,622 human-designed 3D scenes of visually realistic houses, ranging from single-room studios to multi-storied houses, equipped with a diverse set of fully labeled 3D objects, textures and scene layouts, based on the SUNCG dataset (Song et.al.). The diversity in House3D opens the door towards scene-level augmentation, while the label-rich nature of House3D enables us to inject pixel- & task-level augmentations such as domain randomization (Toubin et. al.) and multi-task training. Using a subset of houses in House3D, we show that reinforcement learning agents trained with an enhancement of different levels of augmentations perform much better in unseen environments than our baselines with raw RGB input by over 8% in terms of navigation success rate. House3D is publicly available at http://github.com/facebookresearch/House3D.

연구 동기 및 목표

• 다양한 방과 물체를 가진 미지의 3D 환경에서도 일반화하는 에이전트의 필요성을 제시한다.
• SUNCG에서 파생된 대규모이고 다양한 라벨이 풍부한 환경(House3D)을 만들어 의미 탐색 연구를 수행한다.
• 일반화를 평가하기 위한 개념 기반 탐색 벤치마크로 RoomNav를 개발한다.
• 탐색 과제에서 다중 목표 조건화를 다루기 위해 게이트드 어텐션 정책 아키텍처를 제안한다.
• 픽셀 수준, 작업 수준, 씬 수준의 증강이 미지의 환경에 대한 일반화를 얼마나 향상시키는지 평가한다.

제안 방법

• SUNCG로부터 House3D를 구성하여 45,622개의 씬과 80개 이상 객체 범주 및 다중 모달 관찰(RGB, 깊이, 세그멘테이션, 탑다운 맵)을 제공한다.
• RoomNav를 정의한다: 지시문 I로 주어진 대상 의미 개념(예: 주방)으로 이동하며 미지의 집에서 평가한다.
• 게이트드-CNN(DDPG)와 게이트드-LSTM(A3C) 정책을 사용하여 특징 융합을 위한 게이팅 메커니즘을 통해 대상 개념에 조건을 부여한다.
• 일 픽셀 수준(도메인 무작위화), 작업 수준(보조 타깃), 씬 수준(더 큰 환경 집합) 증강을 적용하여 일반화를 향상시킨다.
• RGB-전용, RGB+Depth, 및 Mask+Depth 입력을 비교하여 깊이/의미 입력이 강건성과 일반화를 향상시킴을 보인다.
• 표준 RL 알고리즘(DDPG, A3C)으로 학습하고 학습 중 보상 형성을 사용하여 학습을 유도한다.

실험 결과

연구 질문

• RQ1 Does the gated-attention architecture with semantic inputs outperform baselines in unseen environments?
• RQ2 How do discrete-action (A3C) vs continuous-action (DDPG) setups compare under various input modalities?
• RQ3 What is the best combination of augmentation techniques for RoomNav generalization?

주요 결과

• A final gated-LSTM agent with semantic signals achieves 35.8% success on 50 unseen environments, about 10% higher than the 25.7% baseline.
• Depth and semantic segmentation inputs improve generalization over RGB-only inputs.
• Pixel-level augmentation via domain randomization yields improvements comparable to segmentation masks on smaller datasets.
• Task-level augmentation with auxiliary targets reduces overfitting and enhances generalization for RGB inputs.
• Scene-level augmentation by training on a larger, more diverse set of houses significantly reduces overfitting and improves test performance.
• Across inputs, LSTM-based policies outperform CNN-based ones on larger, more complex training sets, indicating benefits of memory for generalization.