[논문 리뷰] Transfer learning from synthetic to real images using variational autoencoders for robotic applications

Tadanobu Inoue, Subhajit Chaudhury외 2명|arXiv (Cornell University)|2017. 09. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 14

한 줄 요약

이 논문은 로봇 시각 작업을 위한 합성 시뮬레이션 이미지와 실제 세계 이미지 사이의 현실 격차를 해소하기 위해 두 개의 변분 오토인코더(VAE)를 사용하는 전이 학습 방법을 제안한다. 실제 이미지에서 가짜 합성 이미지를 생성하고 대규모 합성 데이터를 활용함으로써, 이 방법은 1cm 미만의 오차로 물체 위치 탐지를 달성하며, 재학습 없이 사전 훈련된 로봇 정책을 실제 로봇에 직접 전이할 수 있다. 이는 실데이터만을 사용하는 기준선 대비 정밀도가 6~7배 뛰어나다.

ABSTRACT

Robotic learning in simulation environments provides a faster, more scalable, and safer training methodology than learning directly with physical robots. Also, synthesizing images in a simulation environment for collecting large-scale image data is easy, whereas capturing camera images in the real world is time consuming and expensive. However, learning from only synthetic images may not achieve the desired performance in real environments due to the gap between synthetic and real images. We thus propose a method that transfers learned capability of detecting object position from a simulation environment to the real world. Our method enables us to use only a very limited dataset of real images while leveraging a large dataset of synthetic images using multiple variational autoencoders. It detects object positions 6 to 7 times more precisely than the baseline of directly learning from the dataset of the real images. Object position estimation under varying environmental conditions forms one of the underlying requirement for standard robotic manipulation tasks. We show that the proposed method performs robustly in different lighting conditions or with other distractor objects present for this requirement. Using this detected object position, we transfer pick-and-place or reaching tasks learned in a simulation environment to an actual physical robot without re-training.

연구 동기 및 목표

• 로봇 시각 작업에서 합성 시뮬레이션 이미지와 실제 세계 이미지 사이의 현실 격차를 해결하기 위해.
• 실제 이미지 데이터의 소량만을 사용하여 실세계 환경에서 고정밀 물체 위치 탐지를 가능하게 하기 위해.
• 재학습 없이 시뮬레이션에서 훈련된 로봇 정책을 실제 로봇에 직접 전이하기 위해.
• 실세계 배치에서 조명 변화와 간섭 물체에 대한 강건성을 확보하기 위해.
• 감독 학습 및 강화 학습을 포함한 다양한 학습 철학에 대한 전이 가능성(이식성)을 입증하기 위해.

제안 방법

• 이 방법은 두 개의 변분 오토인코더를 사용한다: 하나는 실제 이미지를 공통 잠재 공간으로 인코딩하고, 다른 하나는 그 공간에서 가짜 합성 이미지를 디코딩한다.
• 조건부 분포 $ p(\mathbf{x}_S|\mathbf{x}_R) $ 를 통해 예측된 위치와 진짜 위치 사이의 재구성 오차를 최소화하며, $ \mathbb{E}_{p(\mathbf{x}_S|\mathbf{x}_R)}[||f(\mathbf{x}_R) - f(\mathbf{x}_S)||^2] $ 를 최적화한다.
• ‘보는 법을 배우기’(물체 탐지)와 ‘행동하는 법을 배우기’(정책 학습)를 분리하는 다단계 학습 파이프라인을 사용하며, 둘 다 시뮬레이션에서 훈련된다.
• VAE-MLP 파이프라인은 킷슨 센서에서 오는 원시 RGB-D 이미지를 처리하여 실시간으로 3차원 물체 위치를 추정한다.
• 이 방법은 감독 학습(예: LSTM을 통한 픽앤플레이스) 및 강화 학습(예: DDPG를 통한 도달 작업) 프레임워크와 통합된다.
• 이 방법은 조명 변화와 간섭 물체에 대해 불변하며, 실세계 조건에서 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 대규모 합성 데이터와 함께 소량의 실 이미지 데이터를 효과적으로 활용하여 물체 탐지 정밀도를 향상시킬 수 있는가?
• RQ2 VAE 기반 도메인 적응 방법이 시뮬레이션과 실세계 이미지 사이의 현실 격차를 어느 정도 줄일 수 있는가?
• RQ3 실데이터로의 미세조정 없이도, 제안된 탐지 방법만으로 시뮬레이션에서 훈련된 로봇 정책을 실제 로봇에 성공적으로 전이할 수 있는가?
• RQ4 조명 변화와 혼잡한 환경과 같은 환경적 변동에 대해 제안된 방법이 얼마나 강건한가?
• RQ5 감독 학습 및 강화 학습을 포함한 다양한 학습 철학에 대해 이 방법이 일반화되는가?

주요 결과

• 제안된 방법은 실세계 환경에서 물체 위치를 1cm 이내의 오차로 탐지한다.
• 물체 탐지 성능은 실 이미지 데이터만으로 CNN 또는 MLP를 직접 훈련하는 기준선 대비 6~7배 더 정밀하다.
• 시뮬레이션에서 훈련된 정책을 실제 로봇에 전이할 때 픽앤플레이스 작업에서 10번의 시험 모두 100% 성공률를 기록했다.
• 실세계에서 DDPG 정책을 사용해 도달 작업을 성공적으로 수행했으며, 실데이터로의 재학습 없이도 시뮬레이션에서 완전히 훈련된 정책을 그대로 사용했다.
• 조명 조건 변화나 간섭 물체가 존재하는 상황에서도 방법이 강건하다.
• 감독 학습 및 강화 학습 정책을 모두 시뮬레이션에서 실세계 로봇으로 직접 전이할 수 있다. 미세조정 없이도.