[논문 리뷰] Adversarial Discriminative Sim-to-real Transfer of Visuo-motor Policies

Fangyi Zhang, Jürgen Leitner외 3명|arXiv (Cornell University)|2017. 09. 18.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 10

한 줄 요약

이 논문은 소수의 레이블이 부여된 실세계 이미지와 레이블이 부여되지 않은 실세계 데이터를 사용하여 시뮬레이션에서 실세계로의 시각운동 정책 전이를 위한 적대적 분류적 전이(ADT) 방법을 제안한다. 생성적 적대적 네트워크를 모듈형 딥 Q-네트워크와 통합함으로써, 레이블이 부여된 실세계 데이터의 필요성을 50% 감소시키며, 7 DoF 로봇 도달 작업에서 레이블이 부여된 93장의 이미지와 레이블이 부여되지 않은 186장의 이미지로만 97.8% 성공률과 1.8 cm 제어 정확도를 달성한다.

ABSTRACT

Various approaches have been proposed to learn visuo-motor policies for real-world robotic applications. One solution is first learning in simulation then transferring to the real world. In the transfer, most existing approaches need real-world images with labels. However, the labelling process is often expensive or even impractical in many robotic applications. In this paper, we propose an adversarial discriminative sim-to-real transfer approach to reduce the cost of labelling real data. The effectiveness of the approach is demonstrated with modular networks in a table-top object reaching task where a 7 DoF arm is controlled in velocity mode to reach a blue cuboid in clutter through visual observations. The adversarial transfer approach reduced the labelled real data requirement by 50%. Policies can be transferred to real environments with only 93 labelled and 186 unlabelled real images. The transferred visuo-motor policies are robust to novel (not seen in training) objects in clutter and even a moving target, achieving a 97.8% success rate and 1.8 cm control accuracy.

연구 동기 및 목표

• 로봇 시각운동 정책 학습에서 실세계 데이터 레이블링 비용을 낮추기 위해.
• 시뮬레이션에서 실세계로의 로봇 정책 전이에 있어 대규모 레이블이 부여된 실세계 데이터에 대한 의존도를 줄이기 위해.
• 소수의 레이블이 부여된 실세계 이미지와 풍부한 레이블이 부여되지 않은 실세계 데이터를 활용하여 실세계 환경으로의 강력한 정책 전이를 가능하게 하기 위해.
• 적대적 도메인 적응 기법이 시각운동 제어 분야의 회귀 과제에 효과적인지 입증하기 위해.
• 복잡한 로봇 작업을 위한 모듈형 신경망 아키텍처의 확장성과 강건성을 검증하기 위해.

제안 방법

• 모의 환경와 실세계 관측치 간의 특징을 정렬하기 위해 생성적 적대적 네트워크(GAN)-유사 분류기 기반의 적대적 분류적 전이(ADT) 프레임워크를 제안한다.
• 도메인 랜덤라이제이션을 사용해 시뮬레이션에서 인식 모듈을 훈련한 후, 적대적 손실 최소화를 통해 실세계 데이터에 적응시킨다.
• 인식 모듈과 제어 모듈이 가중치 손실을 고려해 함께 엔드 투 엔드로 미세조정되는 모듈형 딥 Q-네트워크(DQN) 아키텍처를 통합한다.
• 소수의 레이블이 부여된 실세계 이미지(최소 48장)와 최대 두 배의 레이블이 부여되지 않은 실세계 이미지를 조합하여 분류기 훈련과 정책 예측 정밀도 향상에 활용한다.
• 추론 중 정책 출력을 안정화하기 위해 PI 제어기를 적용하여 시각적 및 동적 변동에 대한 강건성을 향상시킨다.
• 가중치가 부여된 엔드 투 엔드 미세조정을 구현하여 적응 과정에서 고신뢰도 예측에 중점을 두어 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 분류적 전이 방법이 시뮬레이션에서 실세계로의 시각운동 정책 전이에 필요한 레이블이 부여된 실세계 이미지 수를 줄일 수 있는가?
• RQ2 소수의 실세계 데이터로 훈련된 정책을 실세계 로봇 조작 과제로 전이하는 데 있어 제안된 ADT 방법의 효과성은 어떠한가?
• RQ3 모듈형 네트워크 아키텍처가 혼잡한 환경에서 새로운 방해 요소나 움직이는 목표물에 대해 얼마나 강건한가?
• RQ4 도메인 랜덤라이제이션과 적대적 적응의 조합이 순수한 도메인 랜덤라이제이션보다 자료 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ5 ADT 프레임워크는 매우 제한된 레이블이 부여된 실세계 데이터로 소수 샘플 전이에 확장될 수 있는가?

주요 결과

• 적대적 분류적 전이(ADT) 방법은 감독적 적응 대비 레이블이 부여된 실세계 이미지의 필요 수를 50% 감소시키며, 유사한 성능을 달성하였다.
• 레이블이 부여된 93장의 이미지와 레이블이 부여되지 않은 186장의 이미지로만 7 DoF 로봇 도약 작업에서 97.8%의 성공률과 중앙 제어 오차 1.8 cm를 달성하였다.
• 이 방법은 새로운 방해 요소와 움직이는 목표물에 대해서도 강건성을 유지하며, 훈련 분포를 초월한 일반화 능력을 입증하였다.
• 가중치가 부여된 엔드 투 엔드 미세조정은 초기 전이 대비 정책 정확도를 37.9% 향상시켰으며, 공동 최적화의 중요성을 강조하였다.
• 단지 48장의 레이블이 부여된 실세계 이미지로도 97.8%의 성공률을 달성하여, 자료가 부족한 환경에서 소수 샘플 전이의 강력한 잠재력을 보여주었다.
• 모듈형 아키텍처는 뿐만 아니라 시뮬레이션 트래잭터리 30,225건과 실세계 데이터 333건(레이블이 부여된 93건, 레이블이 부여되지 않은 186건)으로만 효과적인 전이를 가능하게 하였으며, 자료 효율성 측면에서 순수한 도메인 랜덤라이제이션을 능가하였다.