[논문 리뷰] Transfer Learning From Synthetic To Real Images Using Variational Autoencoders For Precise Position Detection

Tadanobu Inoue, Subhajit Chaudhury외 2명|arXiv (Cornell University)|2018. 07. 04.

Robotics and Sensor-Based Localization인용 수 9

한 줄 요약

이 논문은 대규모 합성 데이터와 소규모 실사 이미지 데이터셋을 활용하여 실세계 이미에서 정밀한 물체 위치 검출을 가능하게 하는 변분 오토인코더(VAE)를 사용한 전이 학습 방법을 제안한다. 이 방법은 합성 이미지와 실사 이미지를 공유 잠재 공간으로 매핑하는 두 개의 VAE를 훈련시어 도메인 간 일반화를 가능하게 하고, 실세계 검출 작업에서 평균 1.5–3.5 mm의 정확도를 달성한다. 이는 조도 변화 및 간섭 물체 조건에서도 안정성을 유지한다.

ABSTRACT

Capturing and labeling camera images in the real world is an expensive task, whereas synthesizing labeled images in a simulation environment is easy for collecting large-scale image data. However, learning from only synthetic images may not achieve the desired performance in the real world due to a gap between synthetic and real images. We propose a method that transfers learned detection of an object position from a simulation environment to the real world. This method uses only a significantly limited dataset of real images while leveraging a large dataset of synthetic images using variational autoencoders. Additionally, the proposed method consistently performed well in different lighting conditions, in the presence of other distractor objects, and on different backgrounds. Experimental results showed that it achieved accuracy of 1.5mm to 3.5mm on average. Furthermore, we showed how the method can be used in a real-world scenario like a "pick-and-place" robotic task.

연구 동기 및 목표

• 물체 검출 작업에서 합성 이미지와 실세계 이미지 간의 현실 격차를 해소한다.
• 대규모 합성 데이터셋을 활용해 고비용의 실세계 데이터 수집을 줄인다.
• 소수의 실사 이미지만을 사용하여 실세계 환경에서 정밀한 물체 위치 검출을 가능하게 한다.
• 추론 시 조도, 배경, 간섭 물체의 변화에 대해 강건성을 확보한다.
• 로봇 시스템, 예를 들어 피킹-플레이스 작업과 같은 실제 응용에 적용 가능함을 보여준다.

제안 방법

• 합성 RGB-D 이미지에 대해 VAE1을 훈련시켜 합성 데이터의 공유 잠재 표현을 학습한다.
• VAE1의 디코더 가중치를 고정한 채로 실사 이미지를 사용해 두 번째 VAE(VAE2)를 미세조정하여 실사 및 합성 이미지의 잠재 공간을 정렬한다.
• 공유 디코더를 사용해 실사 이미지에서 가짜 합성 이미지를 생성함으로써 도메인 간 특징 전이를 가능하게 한다.
• 합성 데이터에서 VAE1의 출력을 기반으로 컨volutional 신경망(CNN)을 훈련시어 물체 위치를 예측한다.
• 재훈련 없이 VAE2가 생성한 실사 이미지 기반 가짜 합성 이미지에서 훈련된 CNN을 추론에 적용한다.
• 불변 잠재 공간을 활용해 다양한 실세계 조건에서도 검출 성능을 유지한다.

실험 결과

연구 질문

• RQ1 VAE 기반 도메인 적응 방법이 합성 이미지와 실세계 이미지 간의 현실 격차를 물체 위치 검출에 있어 줄일 수 있는가?
• RQ2 VAE 기반 특징 정렬을 통해 대규모 합성 데이터와 소규모 실사 이미지 데이터셋을 조합했을 때 검출 정확도 향상 정도는 어느 정도인가?
• RQ3 이러한 방법은 조도 조건, 배경 질감, 간섭 물체의 변화에 대해 얼마나 강건한가?
• RQ4 재훈련 없이도 복잡한 질감을 가진 실세계 물체에 대해 일반화 가능한가?
• RQ5 고정밀 요구사항을 가진 실세계 로봇 피킹-플레이스 작업에 성공적으로 적용 가능한가?

주요 결과

• 소수의 실사 이미지만을 사용하여 실세계 이미지에서 평균 1.5–3.5 mm의 위치 검출 정확도를 달성했다.
• 다양한 조도 조건에서도 높은 성능를 유지하여 조도 변화에 강건함을 입증했다.
• 간섭 물체를 성공적으로 무시하고, 복수의 물체가 존재하는 상황에서도 목표 물체를 정확히 국소화했다.
• VAE2 모델은 목표 물체만 선택적으로 재구성하여 배경 및 간섭 물체 특징을 효과적으로 억제했다.
• 재훈련 없이도 검은 종이 및 체크무늬 패턴과 같은 미사용 배경에 대해서도 일반화 성능를 유지했다.
• 공개 영상에서 확인한 바와 같이, 실제 로봇 피킹-플레이스 작업에서 성공적으로 검증되었다.