[논문 리뷰] Sim-to-Real Transfer of Accurate Grasping with Eye-In-Hand Observations and Continuous Control

Mengyuan Yan, Iuri Frosio외 2명|arXiv (Cornell University)|2017. 12. 08.

Robot Manipulation and Learning참고 문헌 19인용 수 29

한 줄 요약

이 논문은 눈-핸드 RGB 시각과 닫힘 루프 딥 네URAL 네트워크(DNN) 컨트롤러를 사용하여 1.37cm 크기의 매우 작은 구체에 대한 고정밀 캐치를 위한 모듈러한 시뮬레이션에서 실제 환경으로의 전이 프레임워크를 제안한다. 도메인 랜덤라이제이션을 통해 실배경과 시뮬레이션된 물체 조합으로 훈련된 시각 모듈과 시뮬레이션에서 암시 학습을 통해 훈련된 DNN 컨트롤러로 분리함으로써, 실제 로봇에서 90%의 캐치 성공률를 달성하였으며, 명시적인 실패 복구 훈련 없이도 움직이는 대상과 혼잡한 배경에 일반화된다.

ABSTRACT

In the context of deep learning for robotics, we show effective method of training a real robot to grasp a tiny sphere (1.37cm of diameter), with an original combination of system design choices. We decompose the end-to-end system into a vision module and a closed-loop controller module. The two modules use target object segmentation as their common interface. The vision module extracts information from the robot end-effector camera, in the form of a binary segmentation mask of the target. We train it to achieve effective domain transfer by composing real background images with simulated images of the target. The controller module takes as input the binary segmentation mask, and thus is agnostic to visual discrepancies between simulated and real environments. We train our closed-loop controller in simulation using imitation learning and show it is robust with respect to discrepancies between the dynamic model of the simulated and real robot: when combined with eye-in-hand observations, we achieve a 90% success rate in grasping a tiny sphere with a real robot. The controller can generalize to unseen scenarios where the target is moving and even learns to recover from failures.

연구 동기 및 목표

• 시뮬레이션 기반 훈련만을 사용하여 실제 세계에서 매우 작은 구체(1.37cm 지름)를 고정밀도로 캐치할 수 있도록 하는 것.
• 세그멘테이션을 도메인에 관계없는 인터페이스로 삼아 시각과 제어 모듈을 분리함으로써 시뮬레이션-실제 도메인 간 격차를 해결하는 것.
• 실제 시뮬레이션과의 시각적 도메인 이동(예: 조명, 그림자)에 대해 일반화되는 시각 모듈을 개발하는 것. 이는 복잡한 3D 렌더링이 필요로 하지 않는다.
• 시뮬레이션에서 암시 학습을 통해 훈련된 닫힘 루프 DNN 컨트롤러를 개발하여, 로봇 동역학의 불일치를 견디고 실제 실행에서 실패를 복구할 수 있도록 하는 것.
• 종단 간 암시 학습과 모듈러 설계를 통해 LSTMs나 명시적인 실패 증강 없이도 견고하고 일반화 가능한 캐치를 가능하게 하는 것.

제안 방법

• 시스템은 시각 모듈과 닫힘 루프 DNN 컨트롤러로 분해되며, 세그멘테이션 마스크가 공유 인터페이스로 사용된다.
• 시각 모듈은 도메인 랜덤라이제이션 기법을 사용하여 훈련된다: 실제 배경 이미지에 목표 구체의 시뮬레이션된 이미지를 합성하여 실제 세계의 시각적 변동을 시뮬레이션한다.
• DNN 시각 모듈은 엔드이펙터 카메라에서 온 실제 RGB 이미지를 처리하고, 목표 물체의 이진 세그멘테이션 마스크를 출력함으로써 외관 차이를 추상화한다.
• 닫힘 루프 DNN 컨트롤러는 시뮬레이션에서 전문가의 시연 데이터를 기반으로 암시 학습을 통해 훈련되며, 세그멘테이션 마스크에서 유도된 상태 입력을 사용한다.
• 컨트롤러는 실시간으로 작동하여 현재의 세그멘테이션 마스크에 기반해 액션을 조정함으로써 위치 오차와 동적 오차를 온라인 보정할 수 있다.
• 전체 시스템은 동일한 DNN 컨트롤러와 시각 모듈을 사용하여 실제 로봇에 배포되며, 추가 보정 없이 작동한다.

실험 결과

연구 질문

• RQ1 합성 물체와 실제 배경에서 훈련된 시각 모듈이 조명 변화나 가림 상태에서 매우 작은, 고반사성의 구체에 대해 실제 환경에서의 세그멘테이션에 일반화될 수 있는가?
• RQ2 시뮬레이션에서 훈련된 닫힘 루프 DNN 컨트롤러가 시뮬레이션과 실제 로봇 간의 로봇 동역학 불일치에도 불구하고 실제 로봇에서 높은 성공률를 달성할 수 있는가?
• RQ3 모듈러 아키텍처(시각과 제어 분리)가 움직이는 대상이나 배경 혼잡과 같은 예상치 못한 상황에 대해 견고한 일반화를 가능하게 하는가?
• RQ4 암시 학습을 통해 실패 사례를 훈련 데이터에 명시적으로 증강하지 않더라도 시스템이 실패 복구 전략을 자연스럽게 학습할 수 있는가?
• RQ5 눈-핸드 RGB 시각과 세그멘테이션 기반 인터페이스를 사용할 경우, 제 3인칭 또는 개방 루프 접근 방식에 비해 얼마나 더 견고한 성능을 발휘하는가?

주요 결과

• 시스템은 실제 로봇에서 1.37cm 지름의 구체를 캐치하는 데 90%의 성공률를 달성하여 효과적인 시뮬레이션-실제 전이를 입증한다.
• DNN 시각 모듈은 수작업으로 조정된 HSV 색상 필터 기반 베이스라인 대비 98.3% 재현율과 85.3% 정밀도를 기록하였으며, 특히 그림자나 가림 상태에서 더 뛰어난 성능을 보였다.
• 시스템은 훈련 데이터에 포함되지 않은 움직이는 대상과 배경 혼잡 조건에서도 성공적으로 캐치를 수행하였다.
• 로봇은 LSTMs나 명시적인 실패 데이터 증강 없이도 실패한 캐치에서 자연스럽게 복구 전략을 학습하였다.
• 닫힘 루프 컨트롤러는 시뮬레이션과 실제 로봇 간의 동적 불일치를 보완하여, 시뮬레이션 정밀도가 불완전하더라도 견고한 성능을 발휘하였다.
• 모듈러 설계 덕분에 시각 모듈과 컨트롤러 모듈을 별도로 훈련하고, 재훈련 최소화로 다른 로봇이나 환경에 쉽게 재사용할 수 있었다.