[논문 리뷰] On the Transfer of Inductive Bias from Simulation to the Real World: a New Disentanglement Dataset

Muhammad Waleed Gondal, Manuel Wüthrich외 8명|arXiv (Cornell University)|2019. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 30

한 줄 요약

이 논문은 색상, 형태, 크기, 위치, 카메라 높이, 배경, 로봇 암 운동의 7가지 요인에 따라 제어된 물리적 물체의 100만장 이상의 실세계 3D 이미지를 포함하는 새로운 실세계 3D 데이터셋을 소개한다. 이와 함께 점점 더 현실적인 두 가지 시뮬레이션 버전도 제공한다. 연구 결과, 시뮬레이션에서 실세계로의 디센트링된 표현의 직접 전이 성능은 열악한 편이지만, 현실적인 시뮬레이션을 기반으로 모델과 하이퍼파라미터를 선택할 경우 전이 성능이 크게 향상되며, 랜덤 선택 대비 72%의 성공률로 실세계 데이터로의 전이 성능이 향상됨을 확인했다.

ABSTRACT

Learning meaningful and compact representations with disentangled semantic aspects is considered to be of key importance in representation learning. Since real-world data is notoriously costly to collect, many recent state-of-the-art disentanglement models have heavily relied on synthetic toy data-sets. In this paper, we propose a novel data-set which consists of over one million images of physical 3D objects with seven factors of variation, such as object color, shape, size and position. In order to be able to control all the factors of variation precisely, we built an experimental platform where the objects are being moved by a robotic arm. In addition, we provide two more datasets which consist of simulations of the experimental setup. These datasets provide for the first time the possibility to systematically investigate how well different disentanglement methods perform on real data in comparison to simulation, and how simulated data can be leveraged to build better representations of the real world. We provide a first experimental study of these questions and our results indicate that learned models transfer poorly, but that model and hyperparameter selection is an effective means of transferring information to the real world.

연구 동기 및 목표

• 기존 연구가 주로 합성 토이 데이터셋에 의존함에 따라 실세계 데이터에서 디센트링된 표현 학습을 평가하는 데에 미흡한 점을 보완하기 위함.
• 시뮬레이션 환경에서 학습한 디센트링 방법이 실세계 물리적 기록으로 얼마나 잘 전이되는지 조사하기 위함.
• 시뮬레이션의 품질과 인덕티브 바이어스가 실세계 데이터로의 성공적인 전이에 미치는 영향을 분석하기 위함.
• 체계적인 평가를 위해 제어된 고품질의 실세계 및 시뮬레이션 이미지를 포함한 벤치마크 데이터셋을 제공하기 위함.

제안 방법

• 로봇 플랫폼을 구축하여 색상, 형태, 크기, 위치, 카메라 높이, 배경, 로봇 암 운동의 두 개도의 자유도를 포함한 7가지 요인을 정밀하게 제어하고 3차원 물리적 물체의 영상을 기록함.
• 간단한 렌더링을 사용한 시뮬레이션(토이 시뮬레이션)과 물리적 설정과 유사한 고정밀도의 현실적인 렌더링을 사용한 두 가지 합성 데이터셋을 생성함.
• 100만장 이상의 실세계 이미지를 수집하고, 동일한 해상도(64×64)와 요인 설정 조건에서 시뮬레이션 이미지와 매칭함.
• 표준 평가 지표(예: MIG, DCI)를 사용하여 실세계, 토이 시뮬레이션, 현실적인 시뮬레이션 데이터셋에서 최신의 디센트링 모델들을 평가함.
• 순서 상관 분석과 모델 선택 전이 실험을 통해 시뮬레이션에서의 하이퍼파라미터 선택이 실세계 데이터에서의 성능을 예측할 수 있는지 평가함.
• 데이터 품질, 감독 신호, 실세계 왜곡의 영향을 분석하기 위해 아블레이션 스터디를 수행함.

실험 결과

연구 질문

• RQ1 렌더링된 이미지에서 실세계 기록으로의 비지도 최신 디센트링 알고리즘의 전이 성능는 어떠한가?
• RQ2 실제 전이 성능는 시뮬레이션 전처리에 사용된 시뮬레이션의 현실성에 따라 어떻게 달라지는가?
• RQ3 시뮬레이션에서의 모델 및 하이퍼파라미터 선택이 실세계 표현 학습에 효과적인 인덕티브 바이어스로 기능할 수 있는가?
• RQ4 반사, 노이즈 등의 실세계 왜곡을 학습에 포함시키는 데에 이점이 있는가?
• RQ5 디센트링된 표현은 데이터 생성 과정의 인과 메커니즘을 모델링하는 데 사용될 수 있는가?

주요 결과

• 시뮬레이션에서만 학습한 모델의 경우, 실세계 데이터에서 MIG 및 DCI 점수 모두가 유의미하게 낮게 나타나 시뮬레이션에서 실세계로의 직접 전이 성능는 열악함을 확인함.
• 현실적인 시뮬레이션을 기반으로 한 모델 및 하이퍼파라미터 선택은 전이 성능를 향상시키며, 실세계 데이터로의 전이에서 랜덤 선택 대비 72%의 성공률 기록함.
• 놀랍게도, 단순한 합성 토이 시뮬레이션에서 실세계로의 전이 성능는 여전히 78%의 확률로 랜덤 선택을 뛰어넘으며, 이는 낮은 품질의 시뮬레이션조차도 유용한 인덕티브 바이어스를 유지하고 있음을 시사함.
• 실세계, 현실적인 시뮬레이션, 토이 시뮬레이션 데이터셋 간의 모델 성능 순위 간 상관관계가 높게 나타나, 다양한 도메인 간 성능 예측 가능성을 확인함.
• 실세계 데이터에서 학습한 디센트링 표현은 시뮬레이션에서 전이된 표현보다 더 높은 점수를 기록함을 확인하며, 최종 구현에 실세계 데이터의 중요성을 강조함.
• 제안된 데이터셋은 시뮬레이션과 실세계 도메인 간의 디센트링, 전이 학습, 인덕티브 바이어스에 대한 체계적인 평가를 가능하게 함.