[논문 리뷰] Reaching, Grasping and Re-grasping: Learning Multimode Grasping Skills

Wenbin Hu, Chuanyu Yang외 2명|arXiv (Cornell University)|2020. 02. 11.

Robot Manipulation and Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 동적 환경에서 도달, 잡기, 再잡기 작업을 유일한 딥 강화학습 정책으로 통합적으로 구현하는 방법을 제안한다. 임무 중심의 보상 함수를 사용하고, 실패 유도 초기 상태로 훈련함으로써, 실패 후에도 충돌 없이 견고하게 재잡기 행동을 수행하며, 시뮬레이션에서 정적 및 동적 목표물에 대해 높은 성공률을 기록한다. 이는 부분적이고 노이즈가 있는 시각 관측 조건에서도 실시간 적응성과 뛰어난 일반화 능력을 보여준다.

ABSTRACT

The ability to adapt to uncertainties, recover from failures, and coordinate between hand and fingers are essential sensorimotor skills for fully autonomous robotic grasping. In this paper, we aim to study a unified feedback control policy for generating the finger actions and the motion of hand to accomplish seamlessly coordinated tasks of reaching, grasping and re-grasping. We proposed a set of quantified metrics for task-orientated rewards to guide the policy exploration, and we analyzed and demonstrated the effectiveness of each reward term. To acquire a robust re-grasping motion, we deployed different initial states in training to experience failures that the robot would encounter during grasping due to inaccurate perception or disturbances. The performance of learned policy is evaluated on three different tasks: grasping a static target, grasping a dynamic target, and re-grasping. The quality of learned grasping policy was evaluated based on success rates in different scenarios and the recovery time from failures. The results indicate that the learned policy is able to achieve stable grasps of a static or moving object. Moreover, the policy can adapt to new environmental changes on the fly and execute collision-free re-grasp after a failed attempt within a short recovery time even in difficult configurations.

연구 동기 및 목표

• 도달, 잡기, 재잡기 작업을 단일 반응형 프레임워크에서 통합적으로 조율할 수 있는 통합 피드백 제어 정책을 개발한다.
• 훈련 중에 실패 상태를 유도함으로써 실세계 상황에서의 강건성을 향상시키고, 실패 후 복구 능력을 향상시킨다.
• 갑작스러운 환경 변화와 부분적/노이즈가 있는 시각 관측 조건에 실시간으로 적응할 수 있도록 한다.
• 사전에 수집된 데이터나 수동 컨트롤러 설계에 의존하지 않고, 시뮬레이션에서 시행착오 학습을 통해 처음부터 정책을 학습한다.
• 훈련 과정에 현실적인 제약 조건과 센서 노이즈를 통합함으로써 시뮬레이션에서 실제 하드웨어로의 전이를 촉진한다.

제안 방법

• 모델 프리 딥 강화학습 프레임워크를 사용하여 원시 관측(객체의 핵심 포인트 및 손 안의 접촉력)에서부터 정책을 엔드 투 엔드로 훈련한다.
• 목표물과의 거리, 손가락 방향 벡터 정렬, 토폴로지 일관성, 접촉력, 물체 속도, 충돌 회피 등의 항목을 포함한 다중 구성 요소 보상 함수를 설계한다.
• 실패 유도 초기 상태를 훈련 중에 명시적으로 도입하여 에이전트가 재잡기 시나리오에 노출되고 복구 행동이 향상되도록 한다.
• 부분적이고 노이즈가 있는 시각 관측을 시뮬레이션하기 위해 객체의 핵심 포인트 중 절반만 사용하고, 실세계 센서 제약 조건을 반영하기 위해 가우시안 노이즈(σ = 0.02m)를 추가한다.
• 피크 손가락 토크(≤2 N·m)와 손의 속도(≤1 m/s)에 대한 페널티를 통해 운동 제약 조건을 강제로 적용하여 안전성과 하드웨어 타당성을 확보한다.
• 3개의 손가락을 가진 로봇 손과 프랭카 암 운동학 사슬을 사용한 PyBullet 기반 시뮬레이션 환경에서 정책을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 단일 딥 강화학습 정책이 통합적으로 도달, 잡기, 재잡기 작업을 효과적으로 조율할 수 있는가?
• RQ2 보상 함수의 개별 구성 요소가 정책의 성공률과 강건성에 어떤 기여를 하는가?
• RQ3 복잡한 구성 조건에서 정책이 얼마나 효과적으로 실패 후 재잡기 복구를 수행할 수 있는가?
• RQ4 정책이 미리 보지 않은 물체와 부분적/노이즈가 있는 시각 입력에 얼마나 잘 일반화되는가?
• RQ5 실제 하드웨어로의 전이가 가능한가? 이는 현실적인 훈련 제약 조건을 고려할 때 가능한가?

주요 결과

• 통제된 조건에서 정적 목표물에 대한 잡기 성공률은 100%였고, 동적 목표물에 대해서는 95%의 성공률를 기록했다.
• 실패 후 평균 0.5초 이내에 충돌 없이 재잡기 행동을 성공적으로 수행하였다.
• 제거 실험 결과, 손가락 끝까지의 거리 보상 항목(r_distTips)을 제거할 경우 모든 작업에서 완전한 실패가 발생하여 이 항목의 핵심적 역할을 확인하였다.
• 형태와 크기의 변동성에 강건함을 입증하기 위해 실린더, 캔, Mustard 병, 나무 블록 등 미리 보지 않은 물체에 대해서도 잘 일반화되었다.
• 모든 작업에서 손가락 관절의 피크 토크는 2 N·m 이하로 유지되었고, 손의 속도는 1 m/s 이하로 유지되어 하드웨어 안전 한계를 충족함을 확인하였다.
• 부분적이고 노이즈가 있는 시각 관측 조건에서도 정책의 강건성이 유지되었으며, 객체의 핵심 포인트 중 50%만 사용하고 노이즈를 추가한 상황에서도 높은 성능을 유지하였다.