[논문 리뷰] Towards Adapting Deep Visuomotor Representations from Simulated to Real Environments.

Eric Tzeng, Coline Devin외 6명|arXiv (Cornell University)|2015. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 61

한 줄 요약

이 논문은 시뮬레이션에서 실제 환경으로의 시수모터 표현을 전이하기 위해 분포 수준 및 쌍별 이미지 정렬을 결합한 약한 감독 도메인 적응 방법을 제안한다. 이 방법은 고비용 수동 애너테이션을 요구하지 않으며 도메인 간 차이를 크게 줄인다. PR2 로봇의 만능 작업에서 평가한 결과, 이전 방법들보다 뛰어난 실제 환경 성능을 달성한다.

ABSTRACT

Real-world robotics problems often occur in domains that differ significantly from the robot's prior training environment. For many robotic control tasks, real world experience is expensive to obtain, but data is easy to collect in either an instrumented environment or in simulation. We propose a novel domain adaptation approach for robot perception that adapts visual representations learned on a large easy-to-obtain source dataset (e.g. synthetic images) to a target real-world domain, without requiring expensive manual data annotation of real world data before policy search. Supervised domain adaptation methods minimize cross-domain differences using pairs of aligned images that contain the same object or scene in both the source and target domains, thus learning a domain-invariant representation. However, they require manual alignment of such image pairs. Fully unsupervised adaptation methods rely on minimizing the discrepancy between the feature distributions across domains. We propose a novel, more powerful combination of both distribution and pairwise image alignment, and remove the requirement for expensive annotation by using weakly aligned pairs of images in the source and target domains. Focusing on adapting from simulation to real world data using a PR2 robot, we evaluate our approach on a manipulation task and show that by using weakly paired images, our method compensates for domain shift more effectively than previous techniques, enabling better robot performance in the real world.

연구 동기 및 목표

• 시뮬레이션에서 실제 로봇 환경으로 전이할 때 발생하는 도메인 간 차이 문제를 해결하기 위해.
• 정책 훈련 중 실제 환경 데이터의 고비용 수동 애너테이션에 대한 의존도를 줄이기 위해.
• 무 supervision 도메인 불일치 최소화와 약한 수준의 이미지 쌍 정렬을 결합하여 적응 성능을 향상시키기 위해.
• 정확한 픽셀 수준의 정렬이 필요 없이 약한 수준의 쌍으로 구성된 합성 이미지와 실제 이미지만을 사용하여 효과적인 정책 전이를 가능하게 하기 위해.
• 시뮬레이션 전훈련과 약한 감독 기반 적응을 통해 실제 환경에서의 만능 작업 성능을 향상시키는 것을 입증하기 위해.

제안 방법

• 이 방법은 시뮬레이션 이미지와 실제 이미지 간의 특징 분포 간의 도메인 간 차이를 최소화하기 위해 적대적 도메인 적응을 사용한다.
• 정확한 픽셀 수준의 대응이 필요 없이, 동일한 장면이나 물체를 시뮬레이션과 실제 세계에서 찍은 이미지 쌍인 약한 수준의 이미지 쌍을 통합한다.
• 대비 학습 구성 요소는 약한 수준의 이미지 쌍 간의 특징 정렬을 향상시켜 도메인 간 표현 일관성을 개선한다.
• 이 방법은 도메인 불변 특징 학습과 약한 수준의 이미지 쌍 감독을 동시에 최적화하여 분포 수준 정렬과 인스턴스 수준 정렬을 균형 있게 조절한다.
• 시각 인코더는 합성 데이터에서 사전 훈련된 후, 실제 이미지에서 제안된 약한 감독 기반 적응 목표로 미세 조정된다.
• 적응된 시각 표현은 최소한의 애너테이션으로 실제 환경 데이터에서 엔드 투 엔드로 시수모터 정책을 훈련하는 데 사용된다.

실험 결과

연구 질문

• RQ1 시뮬레이션과 실제 세계 도메인에서의 약한 수준의 이미지 쌍이 시수모터 정책 학습에서 도메인 적응을 향상시키는가?
• RQ2 분포 수준 정렬과 쌍별 이미지 정렬을 결합하면 순수하게 무 supervision 또는 완전히 감독된 방법보다 성능이 뛰어나게 되는가?
• RQ3 실제 환경 이미지 쌍의 수동 애너테이션 없이 도메인 간 차이를 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법이 기존의 시뮬레이션에서 실제 환경으로의 전이 기술보다 더 나은 실제 환경 정책 성능을 제공하는가?
• RQ5 이 방법은 도메인 간 물체 외관과 장면 레이아웃의 변화에 대해 얼마나 강건한가?

주요 결과

• 제안된 방법은 PR2 로봇 작업에서 기존의 도메인 적응 기법들보다 뚜렷이 뛰어난 실제 환경 만능 작업 성능을 달성한다.
• 약한 수준의 이미지 쌍을 활용함으로써, 오직 특징 분포 정렬에 의존하는 순수하게 무 supervision 방법보다 도메인 간 차이를 더 효과적으로 줄인다.
• 정확한 이미지 쌍 정렬이 필요한 완전히 감독된 방법들보다도 성능이 뛰어나지만, 수동 애너테이션의 비용을 피할 수 있다.
• 분포 수준 정렬과 쌍별 정렬의 조합은 실제 환경에서 더 강건하고 일반화 능력이 뛰어난 시각 표현을 만들어낸다.
• 적응된 정책은 새로운 실제 환경 테스트 시나리오로도 잘 일반화되어, 약한 감독 기반 적응 전략의 효과성을 입증한다.
• 결과적으로, 합성 이미지와 실제 이미지의 짝짓기 조차 제한적이고 정확하지 않더라도, 표준적인 시뮬레이션에서 실제 환경 전이 기반 기법들보다 성능 향상이 뚜렷하다.