[논문 리뷰] GraspARL: Dynamic Grasping via Adversarial Reinforcement Learning

Tianhao Wu, Fangwei Zhong외 5명|arXiv (Cornell University)|2022. 03. 04.

Robot Manipulation and Learning인용 수 5

한 줄 요약

GraspARL는 동적 그립을 위한 적대적 강화학습 프레임워크를 제안하며, 로봇과 이동 가능한 물체가 최소-최대 게임을 통해 정책 일반화를 향상시킵니다. 적대적으로 생성된 궤적 하에서 로봇을 훈련시킴으로써, 복잡한 물체(mustard bottle와 같은)에 대해 실세계 Franka Panda 로봇에서 80% 성공률을 달성하는 데 성공했습니다.

ABSTRACT

Grasping moving objects, such as goods on a belt or living animals, is an important but challenging task in robotics. Conventional approaches rely on a set of manually defined object motion patterns for training, resulting in poor generalization to unseen object trajectories. In this work, we introduce an adversarial reinforcement learning framework for dynamic grasping, namely GraspARL. To be specific. we formulate the dynamic grasping problem as a 'move-and-grasp' game, where the robot is to pick up the object on the mover and the adversarial mover is to find a path to escape it. Hence, the two agents play a min-max game and are trained by reinforcement learning. In this way, the mover can auto-generate diverse moving trajectories while training. And the robot trained with the adversarial trajectories can generalize to various motion patterns. Empirical results on the simulator and real-world scenario demonstrate the effectiveness of each and good generalization of our method.

연구 동기 및 목표

• 실세계 로봇에서 예측할 수 없는 물체 운동 패턴에 대한 동적 그립 정책의 일반화 문제를 해결합니다.
• 시뮬레이션에서 수동으로 설계된 궤적의 한계를 극복하여, 복잡하거나 무작위 운동에 대한 일반화를 제한합니다.
• 정책 훈련 중에 다양한 적대적 물체 궤적을 자동 생성하는 자기 향상형 훈련 프레임워크를 개발합니다.
• 신규한 물체 기하학 인식 보상 함수(OGAR)와 충돌 페널티를 통해 정책의 강건성과 안전성을 향상시킵니다.
• 도메인 랜덤라이제이션 또는 작업 특화 튜닝 없이도 학습된 정책을 실세계 로봇 시스템으로 이식 가능하게 합니다.

제안 방법

• 로봇 암(그립퍼)과 적대적 이동자 에이전트 사이의 '이동-그립' 최소-최대 게임으로 동적 그립을 수식화합니다.
• 영구적인 보상 구조를 사용해 둘 다 딥 강화학습으로 훈련시키며, 이로써 이동자 에이전트가 점점 더 복잡하고 다양한 궤적을 생성할 수 있도록 합니다.
• 물체 기하학을 고려한 보상(OGAR)을 도입하여 로봇이 최적의 그립 영역으로 유도하면서 충돌은 페널티를 줍니다.
• 충돌 검사 보상을 통합하여 훈련 중 안전성과 정책 안정성을 향상시킵니다.
• 상향 시각 기반 그립 정책과 UKF 기반 상태 추정기를 사용해 가림 효과를 줄이고 추적 강건성을 향상시킵니다.
• 후회 경험 재생과 적대적 궤적 생성을 통한 커리큘럼 학습을 적용해 정책 수렴 속도를 가속화합니다.

실험 결과

연구 질문

• RQ1 적대적 강화학습이 동적 그립에서 정책 일반화를 향상시키기 위해 다양한 실재성 있는 물체 운동 궤적을 생성할 수 있는가?
• RQ2 제안된 물체 기하학 인식 보상(OGAR)은 표준 조밀 보상 대비 훈련 안정성과 그립 성공률을 얼마나 향상시키는가?
• RQ3 적대적 훈련이 예측 불가능한 운동 패턴, 특히 무작위 또는 복잡한 궤적에 대한 일반화를 얼마나 향상시키는가?
• RQ4 학습된 정책이 도메인 랜덤라이제이션 또는 정밀 조정 없이도 실세계 로봇 플랫폼으로 성공적으로 이식 가능한가?
• RQ5 각 구성 요소(적대적 학습, OGAR, 충돌 검사)가 전체 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• GraspARL는 Franka Panda 로봇을 사용해 무명병에 대해 실세계 동적 그립에서 4/5 성공률(80%)을 기록했고, 터너캔에 대해서는 3/5 성공률을 기록했습니다.
• 무작위, 선형, 사인, 원형 궤적을 포함한 예측 불가능한 운동 패턴에서 베이스라인을 능가하며 성공률 향상과 에피소드 길이 단축을 달성했습니다.
• 제거 실험 결과, 적대적 훈련이 성능에 가장 큰 기여를 했으며, 적대적 학습이 없는 모델은 가장 낮은 성공률과 가장 긴 에피소드 길이를 보였습니다.
• 물체 기하학 인식 보상(OGAR)은 표준 조밀 보상 대비 훈련 안정성과 성공률을 크게 향상시켰으며, 특히 고속 비율에서 두드러졌습니다.
• 충돌 검사 보상은 정책 안전성에 기여하여, 다른 구성 요소가 제거된 경우에도 에피소드 길이를 단축시키고 성공률을 향상시켰습니다.
• 훈련 중 인간이 설계한 운동 패턴이 필요 없이도 복잡하고 예측 불가능한 궤적에 대해 잘 일반화되며, 효과적인 자동 커리큘럼 학습을 보여줍니다.