[논문 리뷰] A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects

Anthony Simeonov, Yilun Du외 5명|arXiv (Cornell University)|2020. 11. 16.

Robotic Path Planning Algorithms인용 수 11

한 줄 요약

이 논문은 사전 3D 모델 없이 강체 포인트클라우드 물체를 조작하기 위한 장기 예측 계획 프레임워크를 제안한다. 학습된 보조목표 예측과 조작 프리미티브를 사용하여 효율적이고 일반화 가능한 계획을 가능하게 한다. 그래프-어텐션 네트워크를 통해 포인트클라우드에서 직접 타당한 3D 변환과 접촉 구성 요소를 예측함으로써 계획의 검색 공간을 줄이고, 시뮬레이션 및 YuMi 로봇을 사용한 실제 실험에서 새로운 물체에 대해 높은 성공률를 달 đạt한다.

ABSTRACT

We present a framework for solving long-horizon planning problems involving manipulation of rigid objects that operates directly from a point-cloud observation, i.e. without prior object models. Our method plans in the space of object subgoals and frees the planner from reasoning about robot-object interaction dynamics by relying on a set of generalizable manipulation primitives. We show that for rigid bodies, this abstraction can be realized using low-level manipulation skills that maintain sticking contact with the object and represent subgoals as 3D transformations. To enable generalization to unseen objects and improve planning performance, we propose a novel way of representing subgoals for rigid-body manipulation and a graph-attention based neural network architecture for processing point-cloud inputs. We experimentally validate these choices using simulated and real-world experiments on the YuMi robot. Results demonstrate that our method can successfully manipulate new objects into target configurations requiring long-term planning. Overall, our framework realizes the best of the worlds of task-and-motion planning (TAMP) and learning-based approaches. Project website: https://anthonysimeonov.github.io/rpo-planning-framework/.

연구 동기 및 목표

• 기존 3D 모델 없이도 새로운 알 수 없는 물체에 대해 장기 예측 로봇 조작 문제를 해결하기 위해.
• 저수준 동작이 아닌 보조목표의 추상 공간에서 계획을 수행하여 계산 부담을 줄이기 위해.
• 포인트클라우드 관측에서 직접 도달 가능한 구성 요소를 예측하는 편향된 보조목표 샘플러를 학습하여 계획의 효율성과 타당성을 향상시키기 위해.
• 통합된 프레임워크를 통해 다양한 물체 형태와 크기에 대한 일반화를 가능하게 하기 위해.
• 작업 및 운동 계획(TAMP)과 학습 기반 방법 간 격차를 해소하기 위해 보조목표 추상화와 데이터 기반 인식을 결합하기 위해.

제안 방법

• 물체의 보조목표로 표현된 SE(3) 변환 공간에서 계획을 수행하며, 저수준 로봇-물체 동역학을 추상화한다.
• 끌기, 밀기, 쥐기-재정렬 등의 프리미티브 조작 스킬 가족을 사용하며, 각각 물체와의 접촉 기반 동작으로, 물체와의 접촉을 유지한다.
• 원시 포인트클라우드 입력을 처리하기 위해 그래프-어텐션 신경망을 사용하여 각 스킬에 대한 보조목표와 접촉 자세를 예측함으로써, 물체 모델 없이도 인식에서 행동으로의 매핑을 가능하게 한다.
• 보조목표는 물체가 달성해야 할 3D 변환으로 예측되며, 실행 중 로봇이 접촉을 유지한다고 가정한다.
• 보조목표와 초기 접촉 구성 요소를 동시에 예측함으로써 역기구학을 통해 저수준 제어기 생성이 가능하다.
• 계획은 반복적으로 진행되며, 한 스킬의 예측된 보조목표를 다음 스킬의 입력으로 사용하여 다단계 계획을 형성한다.

실험 결과

연구 질문

• RQ1 학습된 보조목표 예측 기반 계획 프레임워크는 사전 3D 모델 없이도 새로운 강체 물체에 일반화할 수 있는가?
• RQ2 장기 예측 조작 작업에서 보조목표 예측을 어떻게 효율적이고 타당하게 만들 수 있는가?
• RQ3 편향된 보조목표 샘플러를 학습하는 것이 히وري스틱 샘플링에 비해 계획 효율성을 얼마나 향상시키는가?
• RQ4 노이즈가 많은 센서 데이터를 가진 듀얼 암 로봇에서 실제 실행 성능은 어떠한가?
• RQ5 오픈 루프 실행에서 주요 실패 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 학습된 샘플러는 성공한 계획에서 평균 37.6회의 샘플링 반복을 기록하여 수작업 설계된 기준보다 70.7회의 반복보다 현저히 낮게, 더 나은 타당성 편향을 의미한다.
• 실패한 경우 양 방법 모두 유사한 샘플링 노력(137.7 대비 130.1)을 보였으며, 성능 향상은 검색 공간 축소가 아니라 더 나은 타당성 예측 덕분임을 확인했다.
• 프레임워크는 시뮬레이션 및 YuMi 로봇을 사용한 실제 실험 모두에서 새로운 물체를 목표 구성으로 조작하는 데 성공했다.
• 실패 원인은 주로 예측된 손바닥 자세나 보조목표 변환의 미세한 오차로 인해 발생했으며, 이는 미끄러짐이나 과도한 침투를 유도하여 실행의 불안정성을 초래했다.
• 사전 물체 모델 없이도 포인트클라우드 관측에만 의존함으로써, 새로운 물체에 대해 강력한 일반화 성능를 보였다.
• 실제 구현 시에는 실행 오차를 보완하고 스킬 실행 중 접촉 유지에 기여하기 위해 손목 수준의 탄성 및 힘-토크 센서의 활용이 유익하다.