[논문 리뷰] Sim2Real for Peg-Hole Insertion with Eye-in-Hand Camera

Damian Bogunowicz, Александр Рыбников외 2명|arXiv (Cornell University)|2020. 05. 29.

Robot Manipulation and Learning참고 문헌 8인용 수 8

한 줄 요약

이 논문은 눈-손 카메라와 프oprioception을 사용한 엔드 투 엔드 딥 강화학습을 통해 시뮬레이션에서 실물로의 전이를 위한 페그-홀 삽입 방법을 제안한다. 정책는 TD3를 사용해 시뮬레이션에서 훈련되며, 미세조정 없이 그대로 실물의 UR5e 로봇에 적용되어 도메인 차이에도 불구하고 1cm 미만의 정확도와 55%의 성공률을 달성한다. 이미지 증강 기법은 원시 RGB-D 입력보다 성능을 크게 향상시킨다.

ABSTRACT

Even though the peg-hole insertion is one of the well-studied problems in robotics, it still remains a challenge for robots, especially when it comes to flexibility and the ability to generalize. Successful completion of the task requires combining several modalities to cope with the complexity of the real world. In our work, we focus on the visual aspect of the problem and employ the strategy of learning an insertion task in a simulator. We use Deep Reinforcement Learning to learn the policy end-to-end and then transfer the learned model to the real robot, without any additional fine-tuning. We show that the transferred policy, which only takes RGB-D and joint information (proprioception) can perform well on the real robot.

연구 동기 및 목표

• 시뮬레이션에서 훈련된 시각 기반 딥 강화학습을 통해 실물 로봇에서의 페그-홀 삽입에 대해 제로샷 시뮬레이션-실물 전이를 가능하게 하기.
• 이미지 증강 및 다중 모odal 센서 입력(_RGB-D, 프로 prioception_)이 시뮬레이션-실물 일반화 성능 향상에 기여하는지 조사하기.
• 촉각 피드백이나 실물에서의 미세조정 없이 순수 시각 기반 눈-손 제어기로 정밀한 삽입을 달성할 수 있는지 평가하기.
• TD3, SAC, DDPG와 같은 다양한 모델-프리 강화학습 알고리즘을 시뮬레이션에서 테스트하고 실물 전이 가능성 평가하기.
• 시뮬레이션-실물 전이에서 깊이 감지의 한계와 프로 prioception이 정책 성능에 미치는 영향 이해하기.

제안 방법

• 딥 디터미니스틱 정책 그래디언트(DDPG)와 그 개선된 변종인 TD3를 사용해, CoppeliaSim 환경에서 시뮬레이션 상에서 비전 기반 제어 정책을 훈련한다.
• RGB-D 이미지와 관절 상태(프로 prioception)로 구성된 다중 모달 관측 공간을 사용해 엔드 투 엔드로 정책를 훈련한다.
• 총 보상 함수는 거리, 성공, 충돌, 시간 페널티를 조합한다: R_total = R_distance + R_success + R_collision + R_time.
• 이미지 증강 기법을 훈련 중에 적용해 시뮬레이션-실물 전이 성능을 향상시키며, 특히 RGB만을 사용하는 경우에 효과적이다.
• 훈련된 정책는 실물의 UR5e 로봇에 그대로 배포되며, 실물에서의 미세조정 없이도 작동한다.
• 기준 비교 방법으로는 고전적 컴퓨터 비전(색상 분할 및 자세 추정)을 사용한다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 훈련된 시각 기반 엔드 투 엔드 딥 강화학습 정책이 실물 로봇에서의 페그-홀 삽입을 미세조정 없이 성공적으로 수행할 수 있는가?
• RQ2 이미지 증강 기법은 시각 기반 RL 정책의 시뮬레이션-실물 전이 성능에 어떤 영향을 미치는가?
• RQ3 RGB-D 이미지와 RGB만의 입력 중 어느 것이 실물 삽입 정확도와 성공률에 더 기여하는가?
• RQ4 프로 prioception 상태 관측은 시뮬레이션 및 실물 배포 상황에서 정책 성능에 얼마나 중요한가?
• RQ5 RGB-D 정책는 시뮬레이션에서 성공적으로 훈련되었음에도 불구하고 왜 일반화에 실패하는가?

주요 결과

• TD3 알고리즘이 시뮬레이션에서 가장 높은 보상을 기록했으며, DDPG와 SAC보다 뛰어났다.
• 이미지 증강 기법을 적용한 RGB-only 모델이 실물 로봇에서 55%의 삽입 성공률을 기록했으며, RGB-D 변형보다 뚜렷하게 뛰어났다.
• 증강 기법을 적용한 RGB-D 모델은 완전히 실패했으며(성공률 0%), 증강 없이 훈련된 모델도 성능이 열악했으며(성공률 0%, x방향 평균 오차 -124.1±166.9 mm), 시뮬레이션 성공 여부와는 무관하게 실물에서 실패했다.
• 시뮬레이션 및 실물 배포 상황에서 프로 prioception은 성능 향상에 유의미한 기여를 하지 않았으며, 이는 이 작업에 있어 필수 요소가 아님을 시사한다.
• 기준 방법은 100%의 성공률(평균 오차 x: 2.4±1.7 mm, y: 0.3±3.0 mm)을 기록했지만, 딥 러닝 기반 학습이 아닌 고전적 컴퓨터 비전 기반으로 구성되어 있었다.
• 이미지 증강 기법은 시뮬레이션-실물 전이에 있어 필수적이었으며, 실물 환경의 조명 변화나 질감 변화 등 도메인 차이로 인한 영향을 시사한다.