[논문 리뷰] DIRL: Domain-Invariant Representation Learning for Sim-to-Real Transfer

Ajay Kumar Tanwani|arXiv (Cornell University)|2020. 11. 15.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 적은 수의 레이블이 있는 실세계 예제를 활용하여 적대적 학습과 삼중분포 손실을 통해 시뮬레이션 도메인과 실세계 도메인 간의 근사 분포와 조건부 분포를 동시에 보정하는 도메인 불변 표현 학습 방법인 DIRL을 제안한다. DIRL은 디지트 도메인 벤치마크에서 최신 기술 수준의 성능을 달성하며, 시뮬레이션에서 실세계로의 객체 인식 정확도를 26.8%에서 91.0%로 향상시켜 모바일 로봇 정리 작업에서 86.5%의 抓취 성공률을 달성한다.

ABSTRACT

Generating large-scale synthetic data in simulation is a feasible alternative to collecting/labelling real data for training vision-based deep learning models, albeit the modelling inaccuracies do not generalize to the physical world. In this paper, we present a domain-invariant representation learning (DIRL) algorithm to adapt deep models to the physical environment with a small amount of real data. Existing approaches that only mitigate the covariate shift by aligning the marginal distributions across the domains and assume the conditional distributions to be domain-invariant can lead to ambiguous transfer in real scenarios. We propose to jointly align the marginal (input domains) and the conditional (output labels) distributions to mitigate the covariate and the conditional shift across the domains with adversarial learning, and combine it with a triplet distribution loss to make the conditional distributions disjoint in the shared feature space. Experiments on digit domains yield state-of-the-art performance on challenging benchmarks, while sim-to-real transfer of object recognition for vision-based decluttering with a mobile robot improves from 26.8 % to 91.0 %, resulting in 86.5 % grasping accuracy of a wide variety of objects. Code and supplementary details are available at https://sites.google.com/view/dirl

연구 동기 및 목표

• 시뮬레이션 데이터가 실세계 환경으로 일반화되지 못하는 시각 기반 로봇 공학에서의 도메인 이동 문제를 해결하기 위해.
• 오직 근사 분포만을 보정하는 비지도 도메인 적응 방법에서 발생하는 모호성(클래스 경계가 잘못 정렬되어 부정적 전이가 발생할 수 있음)을 해결하기 위해.
• 제한된 실세계 레이블 데이터를 활용하여 공유 특징 공간에서 근사 분포와 조건부 분포를 동시에 보정함으로써 전이 성능을 향상시키기 위해.
• 새로운 삼중분포 손실을 통해 공내부 분산을 감소시키고 공간 간 분산을 증가시켜 특징의 분리도를 향상시키기 위해.
• 시뮬레이션에서 훈련된 시각 기반 로봇 정책의 실세계 구현을 위한 샘플 효율적인 적응을 가능하게 하기 위해.

제안 방법

• 소스(시뮬레이션) 도메인과 타겟(실세계) 도메인 간의 근사 분포(입력)와 조건부 분포(출력 레이블)를 모두 보정하기 위해 적대적 학습을 활용하는 도메인 불변 표현 학습(DIRL) 프레임워크를 제안한다.
• 공내부 분산을 감소시키고 공간 간 분산을 증가시켜 공유 특징 공간에서의 의미적 분리도를 향상시키기 위해 삼중분포 손실을 도입한다.
• 소스 도메인과 타겟 도메인의 특징 분포 간 격차를 최소화하여 도메인 불변 특징 표현을 강제하기 위해 도메인 구분자(Domain Discriminator)를 활용한다.
• 적대적 도메인 보정과 삼중분포 손실을 조합하여 특징 공간에서 도메인 불변성과 클래스 분리도를 동시에 최적화한다.
• 모호한 손실과 피처 피라미드 네트워크를 갖춘 수정된 SSD 백본을 사용하며, 근사 분포와 조건부 분포의 격차를 보정하기 위해 도메인 분류기 추가.
• 소수의 레이블이 있는 실세계 예제를 사용하여 근사 분포와 조건부 분포의 보정을 이끄는 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 근사 분포만을 보정하는 방법과 비교해, 근사 분포와 조건부 분포를 동시에 보정함으로써 시뮬레이션에서 실세계로의 전이에서 일반화 성능이 향상되는가?
• RQ2 제안된 삼중분포 손실이 도메인 이동 상황에서 특징 공간의 분리도와 분류 성능에 어떤 영향을 미치는가?
• RQ3 소수의 실세계 레이블이 있는 예제를 통해 시뮬레이션 데이터로 훈련된 시각 기반 로봇 정책의 효과적인 적응이 어느 정도 가능한가?
• RQ4 큰 도메인 이동이 존재하는 도전적인 시뮬레이션에서 실세계로의 전이 벤치마크에서 DIRL 프레임워크가 최신 기술 수준의 도메인 적응 방법을 초월하는가?
• RQ5 이 방법을 통해 다양한 형태의 물체를 실세계 로봇 정리 작업에서 안정적이고 고정확도로 抓취할 수 있는가?

주요 결과

• DIRL은 MNIST 벤치마크에서 0.69의 평균 정밀도(мAP)를 달성하여 비교된 모든 방법들(예: MCD: 0.65, DANN: 0.61)을 능가한다.
• 실세계 테스트 세트에서 DIRL은 91.0%의 분류 정확도를 달성하였으며, 시뮬레이션 전용 기반 모델의 26.8%보다 뚜렷한 향상이다.
• 0.69의 실루엣 스코어(SS)는 특징 공간에서 강한 군집의 타이트함과 클래스 간 분리도를 나타내며, 효과적인 분리도를 의미한다.
• 실세계 모바일 로봇 정리 작업에서 DIRL 기반 객체 인식 모델은 89.4%의 정확도를 달성하였으며, 이는 그립 플래닝 네트워크와 조합하여 86.5%의 抓취 성공률을 이룬다.
• 그립 네트워크 없이 실험한 경우 오직 76.2%의 抓취 정확도를 기록하여, 적응된 시각 정책이 고정확도 抓취를 가능하게 하는 핵심적 역할을 한다는 것을 입증한다.
• 이 방법은 다양한 형태와 크기의 물체를 효과적으로 처리할 수 있었으며, 실패는 주로 작은 크기, 뒤집힌 형태, 또는 복잡한 형태의 부품(예: bowel, 조립 부품 등)에서 관찰되었다.