[논문 리뷰] Modular Deep Q Networks for Sim-to-real Transfer of Visuo-motor Policies

Fangyi Zhang, Jürgen Leitner외 2명|arXiv (Cornell University)|2016. 10. 21.

Reinforcement Learning in Robotics참고 문헌 27인용 수 33

한 줄 요약

이 논문은 시뮬레이션에서 실제 세계로의 비주얼-모터 정책 전이를 위해 인식과 제어를 분리하는 모듈러 딥 Q네트워크 프레임워크를 제안한다. 이는 최소한의 실제 세계 데이터로 엔드 투 엔드 미세조정을 가능하게 하며, 인식과 제어 사이에 버티컬 블로킹을 도입함으로써 실제 세계에서 1.6픽셀의 도달 정확도를 달성한다. 이는 단순 전이 방식보다 21.7% 향상된 성능이며, 오직 20회의 실제 세계 시험만으로도 효과적인 손-eye 조율을 실현한다.

ABSTRACT

While deep learning has had significant successes in computer vision thanks to the abundance of visual data, collecting sufficiently large real-world datasets for robot learning can be costly. To increase the practicality of these techniques on real robots, we propose a modular deep reinforcement learning method capable of transferring models trained in simulation to a real-world robotic task. We introduce a bottleneck between perception and control, enabling the networks to be trained independently, but then merged and fine-tuned in an end-to-end manner to further improve hand-eye coordination. On a canonical, planar visually-guided robot reaching task a fine-tuned accuracy of 1.6 pixels is achieved, a significant improvement over naive transfer (17.5 pixels), showing the potential for more complicated and broader applications. Our method provides a technique for more efficient learning and transfer of visuo-motor policies for real robotic systems without relying entirely on large real-world robot datasets.

연구 동기 및 목표

• 로봇의 비주얼-모터 정책 학습을 위한 대규모 실제 세계 데이터셋에 대한 의존도를 줄이기 위해.
• 인식과 제어 학습을 분리함으로써 시뮬레이션에서 실제 세계로의 전이 성능을 향상시키고, 엔드 투 엔드 미세조정을 가능하게 하기 위해.
• 작은 수의 실제 세계 이미지만을 사용하여 시뮬레이션된 정책을 실제 세계 로봇 시스템에 효율적으로 적응시키기 위해.
• 부정확한 관측, 목표물 변화와 같은 실제 세계 조건에서의 방법의 강건성 평가를 위해.
• 모듈러 학습과 가중치가 부여된 엔드 투 엔드 미세조정이 단순 전이 방식에 비해 손-eye 조율을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 인식과 제어 모듈을 분리하는 데트레인 레이어를 가진 모듈러 딥 Q네트워크 아키텍처를 도입한다.
• 딥 Q러닝을 사용하여 시뮬레이션 환경에서 인식 및 제어 네트워크를 독립적으로 사전 학습시킨다.
• 두 모듈을 통합된 네트워크로 결합하고, 시뮬레이션 데이터와 실제 세계 데이터를 균형 잡는 가중치 손실 함수를 사용해 엔드 투 엔드로 미세조정한다.
• 기존의 시뮬레이션 데이터와 실제 세계 이미지의 혼합을 통해 치명적인 기억 상실을 방지하고 실제 세계 일반화 능력을 향상시킨다.
• 샘플 효율성 향상과 센서 노이즈에 대한 강건성을 높이기 위해 제어 학습 중에 운동학적 가이던스 정책(K-GPS)을 사용한다.
• 실제 세계 시험 수가 매우 적은(20회) 상태에서 시뮬레이션에서 실제 세계로의 인식 네트워크 적응을 가능하게 하여 실제 세계 데이터 요구량을 최소화한다.

실험 결과

연구 질문

• RQ1 최소한의 실제 세계 데이터로 모듈러 딥 강화학습 접근법이 비주얼-모터 정책의 시뮬레이션에서 실제 세계로의 전이를 향상시킬 수 있는가?
• RQ2 가중치가 부여된 손실 함수를 사용한 엔드 투 엔드 미세조정은 인식과 제어 간의 손-eye 조율을 얼마나 효과적으로 향상시키는가?
• RQ3 단지 몇 장의 실제 이미지만으로도 시뮬레이션에서 학습된 인식 네트워크가 실제 세계 시나리오로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 부정확한 관측이나 목표물의 모호성과 같은 실제 세계의 도전 과제 상황에서 제안된 방법의 성능는 어떠한가?
• RQ5 제안된 모듈러 아키텍처는 공동 학습 또는 단순 전이 방식에 비해 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 실제 세계에서 1.6픽셀의 도달 정확도를 달성하였으며, 이는 단순 전이 방식(17.5픽셀)보다 21.7% 향상된 성능이다.
• 가중치가 부여된 손실 함수를 사용한 엔드 투 엔드 미세조정은 손-eye 조율을 크게 향상시켰으며, 단순 조합 및 단순 미세조정 방식을 모두 능가하는 성능을 보였다.
• 오직 20회의 실제 세계 시험만으로도 학습 기간 동안 볼 수 없었던 실제 목표물에 대해서도 적응된 인식 네트워크가 잘 일반화되었다.
• 이 방법은 부정확한 관측에 강건함을 보였다: 일부 목표물은 알려지지 않은 부정확한 관측 패턴이 존재하더라도 도달되었으며, 비부정확한 경우보다 약 2배 정도 오차가 커졌다.
• 모든 테스트 네트워크(실제 세계에서 EE1 제외)는 실제 세계 시험에서 98%에서 100% 사이의 성공률을 기록하여 높은 신뢰성을 입증했다.
• 작은 수의 실제 이미지만을 사용하여 시뮬레이션에서 실제 세계로의 인식 네트워크를 적응시켰으며, 이는 시뮬레이션에서의 시각적 정확도가 낮더라도 효과적인 전이에 충분하다는 것을 보여주었다.