[논문 리뷰] Learning 6-DoF Grasping and Pick-Place Using Attention Focus

Marcus Gualtieri, Robert W. Platt|arXiv (Cornell University)|2018. 06. 15.

Robot Manipulation and Learning참고 문헌 27인용 수 23

한 줄 요약

이 논문은 주목집중 행동 선택을 사용한 강화학습 프레임워크를 제안하여 6-자유도 그립 및 픽플레이스 조작을 수행한다. 작업을 추상적 상태 및 행동 표현을 가진 마코프 결정 과정로 공식화하고 계층적 SE(3) 샘플링(HSE3S)을 적용함으로써 로봇은 작업에 관련된 시나리오 영역에 집중하게 되어, 혼잡한 환경에서 새로운 물체에 대해 샘플 효율적이며 시뮬레이션에서 현실로의 전이를 가능하게 하며 실제 작업에서 60-90%의 작업 성공률을 달성한다.

ABSTRACT

We address a class of manipulation problems where the robot perceives the scene with a depth sensor and can move its end effector in a space with six degrees of freedom -- 3D position and orientation. Our approach is to formulate the problem as a Markov decision process (MDP) with abstract yet generally applicable state and action representations. Finding a good solution to the MDP requires adding constraints on the allowed actions. We develop a specific set of constraints called hierarchical $ ext{SE}(3)$ sampling (HSE3S) which causes the robot to learn a sequence of gazes to focus attention on the task-relevant parts of the scene. We demonstrate the effectiveness of our approach on three challenging pick-place tasks (with novel objects in clutter and nontrivial places) both in simulation and on a real robot, even though all training is done in simulation.

연구 동기 및 목표

• 혼잡한 실제 환경에서 새로운 물체에 대해 샘플 효율적인 6-자유도 그립 및 픽플레이스 조작을 해결하기 위해.
• 주목집중 기반 상태 및 행동 추상화를 통해 고차원 연속 행동 공간(SE(3)))에서의 일반화를 향상시키고 차원의 극복 문제를 줄이기 위해.
• 작업에 관련된 표현과 제약된 행동 시퀀스를 학습함으로써 강건한 시뮬레이션에서 현실로의 전이를 가능하게 하기 위해.
• 보상 함수 조절을 통해 6-자유도 그립과 놓기 작업을 하나의 정책 프레임워크로 통합하기 위해.
• 혼잡한 시나리오에서 새로운 물체를 포함한 복잡하고 비트리비얼한 픽플레이스 작업에 대해 방법을 시연하기 위해.

제안 방법

• 작업을 추상적 상태 표현을 가진 마코프 결정 과정(MDP)으로 공식화하며, 이는 작업에 관련된 시각적 특징과 3D 자세 정보를 포함한다.
• 계층적 SE(3) 샘플링(HSE3S)을 도입하여, 로봇이 종축적으로 작업에 관련된 시나리오 영역을 먼저 살펴본 후 종축 자세를 선택하도록 제약을 가한다.
• 딥 Q 네트워크(DQN) 변종을 사용하여 추상적 상태-행동 쌍의 가치 함수를 학습하며, 행동은 6-자유도 종축 자세이고 상태는 관련된 시나리오 영역에 집중된 지시적 이미지이다.
• 밀도 높은, 흐린, 또는 형태화된 보상 신호를 사용하여 시뮬레이터에서만 정책을 훈련시키며, 자동으로 성공 피드백을 제공한다.
• 추론 중에 n회 시도 샘플링을 적용: 여러 개의 그립 및 놓기 후보를 평가하고, 낮은 가치의 후보를 기각하며, 역운동역학 및 경로 계획을 사용해 도달 가능한 자세를 찾는다.
• 도메인 랜덤라이제이션과 압축된 상태 표현을 활용하여 실질적인 UR5 로봇으로의 직접 전이를 가능하게 하며, 피팅 조정 없이도 가능하다.

실험 결과

연구 질문

• RQ1 단일 강화학습 정책이 보상 신호만을 사용하여 혼잡한 시나리오에서 새로운 물체에 대해 6-자유도 그립과 6-자유도 놓기 작업을 동시에 학습할 수 있는가?
• RQ2 계층적 SE(3) 샘플링(HSE3S)은 고차원 연속 행동 공간에서 샘플 효율성과 일반화를 어떻게 향상시키는가?
• RQ3 시뮬레이션에서 훈련된 정책이 도메인 랜덤라이제이션 또는 피팅 조정 없이 실제 로봇으로 성공적으로 전이될 수 있는 정도는 어느 정도인가?
• RQ4 실제 환경 배포에서의 주요 실패 유형은 무엇이며, 이는 시뮬레이션 성능과 어떻게 관련되어 있는가?
• RQ5 주목집중 행동 선택은 효과적인 행동 공간을 줄이고 부분 관측성 및 새로운 물체 형태에 대한 강건성을 향상시키는가?

주요 결과

• 실제 실험에서 블록 놓기 작업에서 64%의 작업 성공률, 머그 놓기 작업에서 76%, botlle 놓기 작업에서 57%를 기록했으며, 검출 실패 사례는 제외하였다.
• 검출 실패 사례를 포함한 경우, 블록 작업 성공률은 64%로 하락했고, 머그 작업은 78%, 병 작업은 60%로 나타나 시나리오 불확실성에 대비한 강건성을 보였다.
• 그립 성공률은 블록에서 가장 높았고(96%), 머그에서 가장 낮았으며(86%), 머그 그립 실패의 주요 원인은 시뮬레이션에서의 일반화 부족이었다.
• 병 놓기 실패의 주요 원인은 잘못된 방향(뒤집힌 상태, 7건) 또는 코aster 가장자리 근처에 놓인 경우(6건)였으며, 이는 시뮬레이션 트렌드와 일치하였다.
• 이 방법은 피팅 조정 없이도 시뮬레이션에서 실질적인 UR5 로봇으로 성공적으로 전이되었으며, 효과적인 시뮬레이션에서 현실로의 전이를 입증하였다.
• HSE3S는 작업에 관련된 시나리오 영역에 집중하도록 제약을 가하여 탐색 효율성을 향상시키고, 효과적인 행동 공간을 줄이며 학습 안정성을 향상시켰다.