[논문 리뷰] Goal-Auxiliary Actor-Critic for 6D Robotic Grasping with Point Clouds

Lirui Wang, Xiang Yu외 3명|arXiv (Cornell University)|2020. 10. 02.

Robot Manipulation and Learning참고 문헌 55인용 수 14

한 줄 요약

이 논문은 자이로스코프 기반의 6차원 로봇 집게 정책을 에고세트릭 포인트 클라우드에서 학습하기 위해 암시적 학습과 목표 예측 보조 학습을 결합한 Goal-Auxiliary DDPG (GA-DDPG)를 제안한다. 정책은 연속적인 6차원 그립퍼 자세 동작을 직접 출력하며, 실제 인간-로봇 손건네기 작업에서 78%의 성공률을 달성하고, 테이블탑 및 동적 환경에서의 새로운 물체에 대한 일반화 능력이 향상된다.

ABSTRACT

6D robotic grasping beyond top-down bin-picking scenarios is a challenging task. Previous solutions based on 6D grasp synthesis with robot motion planning usually operate in an open-loop setting, which are sensitive to grasp synthesis errors. In this work, we propose a new method for learning closed-loop control policies for 6D grasping. Our policy takes a segmented point cloud of an object from an egocentric camera as input, and outputs continuous 6D control actions of the robot gripper for grasping the object. We combine imitation learning and reinforcement learning and introduce a goal-auxiliary actor-critic algorithm for policy learning. We demonstrate that our learned policy can be integrated into a tabletop 6D grasping system and a human-robot handover system to improve the grasping performance of unseen objects. Our videos and code can be found at https://sites.google.com/view/gaddpg .

연구 동기 및 목표

• 사전에 합성된 집게 자세에 의존하고 오차에 민감한 개방형 6D 집게 방법의 한계를 해결하기 위해.
• 에고세트릭 카메라에서의 포인트 클라우드 관측만을 사용하여 종단 간, 닫힌 루프 제어 정책을 학습하기 위해.
• 딥 강화 학습 프레임워크 내에서 암시적 학습과 목표 보조 학습을 결합하여 샘플 효율성과 정책 일반화 능력을 향상시키기 위해.
• 후행 목표 감독을 통해 미지의 물체에 대한 토닝을 가능하게 하여 실제 환경에서의 지속적 학습을 지원하기 위해.

제안 방법

• 방법은 딥 디터민리스틱 정책 기울기(DDPG) 기반의 목표 보조 액터-크리틱 프레임워크를 사용하며, 액터와 크리틱이 보조 과제로 최종 6D 집게 자세를 예측하도록 훈련한다.
• 시뮬레이션에서 ShapeNet 물체를 사용한 운동 및 집게 계획기와 함께 전문가 트레이젝터리를 대규모로 일관되게 생성한다.
• 이러한 시뮬레이션 트레이젝터리에서의 오프-폴리시 데이터를 사용하여 정책을 훈련하며, 알려진 물체에 대해서는 전문가 계획에 의해 목표 예측 과제가 감독되고, 알려지지 않은 물체에 대해서는 성공적인 루프아웃에서의 후행 목표가 감독된다.
• 상태 표현은 대상 물체의 분할된 포인트 클라우드이며, 이는 포인트넷 기반 인코더를 통해 3차원 특징을 추출하여 정책 입력으로 사용한다.
• 행동 공간은 로봇 그립퍼의 상대적인 6D 자세 변환(3차원 이동 및 3차원 회전)으로 정의되며, 6차원 공간에서 연속 제어를 가능하게 한다.
• 포인트 클라우드 기반의 인식과 종단 간 정책 학습을 통해 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하여 정밀한 3차원 물체 모델에 대한 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 암시적 학습과 강화 학습의 조합을 통해 포인트 클라우드 관측에서 닫힌 루프 6D 집게 정책을 효과적으로 학습할 수 있는가?
• RQ2 보조 과제로 목표 예측을 통합할 경우, 6D 집게에서 정책의 샘플 효율성과 성능이 어떻게 향상되는가?
• RQ3 사전 3차원 모델이 없는 새로운 물체에 대해 정책이 일반화 가능한가, 특히 후행 목표 감독을 사용할 경우?
• RQ4 움직이는 물체를 포함한 인간-로봇 손건네기와 같은 실제 동적 환경에서 정책의 효과성은 어느 정도인가?
• RQ5 기존의 개방형 집게 합성 방법에 비해 이 방법은 시뮬레이션에서 실제 환경으로의 전이 갭을 어느 정도 줄이는가?

주요 결과

• 제안된 GA-DDPG 방법은 10개의 새로운 가정용 가구 물체에 대해 실제 인간-로봇 손건네기 작업에서 78%의 성공률을 달성하여 뛰어난 일반화 능력을 입증했다.
• 정책은 테이블탑 6D 집게 시스템에서 성능을 향상시키며, 훈련 중에 보지 못한 새로운 물체에 대해서도 일반화 성능을 보였다.
• 목표 보조 학습의 통합은 정책 학습을 크게 향상시켜 후행 목표를 사용한 미지의 물체에 대한 효과적인 토닝을 가능하게 했다.
• 사용자 연구 결과, 참가자들은 로봇이 유창하고 적응력 있으며 안전하다고 평가했으며, 물체의 움직임에 대한 로봇의 반응성에 대해 높은 일치도를 보였다.
• 시스템은 동적 환경에서도 뛰어난 내구성을 보였지만, 카메라 지연(15fps)과 장거리에서의 센서 노이즈로 인해 반응형 손건네기 시나리오에서는 성능이 약간 저하되었다.
• 머그잔과 펜과 같은 어려운 물체에 대해서도 전문적인 손건네기 시스템과 경쟁하거나 그 이상의 성능을 보였으며, 다양한 물체 형태에 대한 강력한 적응 능력을 입증했다.