[논문 리뷰] Domain-Invariant Representation Learning for Sim-to-Real Transfer

Ajay Kumar Tanwani|arXiv (Cornell University)|2020. 11. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 9

한 줄 요약

이 논문은 적대적 학습과 트리플릿 손실을 사용하여 시뮬레이션 도메인과 실제 도메인 간의 근사 분포와 조건부 분포를 동시에 정렬함으로써 시뮬레이션에서 실제로의 전이 성능을 향상시키는 도메인 불변 표현 학습(DIRL) 방법을 제안한다. 이는 실제 시각 기반 정리 정돈 작업에서 91.0%의 객체 인식 정확도를 달성하며, 그립핑 정확도를 86.5%까지 끌어올린다.

ABSTRACT

Generating large-scale synthetic data in simulation is a feasible alternative to collecting/labelling real data for training vision-based deep learning models, albeit the modelling inaccuracies do not generalize to the physical world. In this paper, we present a domain-invariant representation learning (DIRL) algorithm to adapt deep models to the physical environment with a small amount of real data. Existing approaches that only mitigate the covariate shift by aligning the marginal distributions across the domains and assume the conditional distributions to be domain-invariant can lead to ambiguous transfer in real scenarios. We propose to jointly align the marginal (input domains) and the conditional (output labels) distributions to mitigate the covariate and the conditional shift across the domains with adversarial learning, and combine it with a triplet distribution loss to make the conditional distributions disjoint in the shared feature space. Experiments on digit domains yield state-of-the-art performance on challenging benchmarks, while sim-to-real transfer of object recognition for vision-based decluttering with a mobile robot improves from 26.8 % to 91.0 %, resulting in 86.5 % grasping accuracy of a wide variety of objects. Code and supplementary details are available at this https URL

연구 동기 및 목표

• 시뮬레이션과 실제 세계 간의 일반화 갭을 해소하기 위해 공변량 및 조건부 도메인 이동을 모두 완화하는 것.
• 최소한의 실제 세계 데이터로도 시뮬레이션에서 실제 세계로의 전이 성능을 향상시키는 것.
• 강건한 실제 세계 배포를 위한 도메인 불변 특징을 보장하는 표현 학습 방법을 개발하는 것.
• 합성 데이터를 사용하여 비정형 환경에서 고정도의 로봇 객체 인식과 그립핑을 가능하게 하는 것.

제안 방법

• 시뮬레이션 도메인과 실제 도메인 간의 입력(근사) 분포를 정렬하기 위해 적대적 도메인 적응을 제안한다.
• 출력 예측에서의 도메인 이동을 줄이기 위해 적대적 학습을 통한 조건부 분포 정렬을 도입한다.
• 공통 특징 공간에서 클래스 간 분리성을 강제하기 위해 트리플릿 손실을 활용한다. 이는 조건부 분포가 서로 분리되도록 한다.
• 근사 분포와 조건부 분포 정렬을 트리플릿 손실과 통합하여 통합된 학습 목표를 구성한다.
• 두 도메인 모두에 대해 도메인 불변 특징을 추출하기 위해 공유 인코더 네트워크를 사용한다.
• 실제 세계의 데이터와 시뮬레이션에서 생성된 합성 데이터를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 근사 분포와 조건부 분포의 동시 정렬이 시각 기반 로봇 작업에서 시뮬레이션에서 실제로의 전이 성능을 향상시키는가?
• RQ2 근사 분포 정렬만을 사용하는 것과 비교해 조건부 분포 정렬이 모델의 일반화에 어떤 영향을 미치는가?
• RQ3 트리플릿 손실이 공통 표현 공간에서 특징의 분리성과 도메인 불변성에 얼마나 기여하는가?
• RQ4 작은 양의 실제 데이터만을 사용하여 실제 세계에서의 로봇 객체 인식 성능 향상은 어느 정도 달성 가능한가?
• RQ5 어려운 시뮬레이션에서 실제 세계로의 벤치마크에서 DIRL은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 DIRL 방법은 실제 시각 기반 정리 정돈 작업에서 91.0%의 객체 인식 정확도를 달성하며, 기준 방법들보다 뚜렷이 뛰어나다.
• DIRL로 훈련된 모델을 사용할 경우 다양한 물체에 대한 그립핑 정확도가 86.5%까지 상승하여 실제 세계에서의 강건한 배포 성능을 입증한다.
• 어려운 숫자 도메인 벤치마크에서 최신 기술 수준의 성능을 달성하여, 도메인 이동 완화에 대한 효과성을 입증한다.
• 근사 분포와 조건부 분포의 동시 정렬은 근사 분포 정렬에만 의존하는 방법보다 더 나은 일반화 성능을 제공한다.
• 적대적 학습과 트리플릿 손실의 조합은 공통 표현 공간에서 더 구분력 있고 도메인 불변인 특징을 생성한다.