[논문 리뷰] kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion

Wei Gao, Russ Tedrake|arXiv (Cornell University)|2019. 09. 16.

Robot Manipulation and Learning인용 수 15

한 줄 요약

이 논문은 학습된 형태 복구를 통해 의미 있는 3D 키포인트와 조밀한 기하학을 조합한 하이브리드 물체 표현을 사용하는 일반화 가능한 조작 계획 프레임워크인 kPAM-SC를 제안한다. 이는 카테고리 내 새로운 인스턴스에 대해 강건하고 물리적으로 타당한 조작을 가능하게 한다. 형태 복구와 키포인트 검출, 운동 계획을 통합함으로써 기존의 계획자들이 수동 조작 없이 큰 내부 카테고리 형태 변화를 다룰 수 있도록 일반화되며, 하드웨어 실험에서 새로운 머그, 신발, 머그랙 인스턴스에서 성공적인 작업 실행을 달성한다.

ABSTRACT

Manipulation planning is the task of computing robot trajectories that move a set of objects to their target configuration while satisfying physically feasibility. In contrast to existing works that assume known object templates, we are interested in manipulation planning for a category of objects with potentially unknown instances and large intra-category shape variation. To achieve it, we need an object representation with which the manipulation planner can reason about both the physical feasibility and desired object configuration, while being generalizable to novel instances. The widely-used pose representation is not suitable, as representing an object with a parameterized transformation from a fixed template cannot capture large intra-category shape variation. Hence, we propose a new hybrid object representation consisting of semantic keypoint and dense geometry (a point cloud or mesh) as the interface between the perception module and motion planner. Leveraging advances in learning-based keypoint detection and shape completion, both dense geometry and keypoints can be perceived from raw sensor input. Using the proposed hybrid object representation, we formulate the manipulation task as a motion planning problem which encodes both the object target configuration and physical feasibility for a category of objects. In this way, many existing manipulation planners can be generalized to categories of objects, and the resulting perception-to-action manipulation pipeline is robust to large intra-category shape variation. Extensive hardware experiments demonstrate our pipeline can produce robot trajectories that accomplish tasks with never-before-seen objects.

연구 동기 및 목표

• 고정 템플릿이나 6-DOF 자세 추정에 의존하지 않고, 큰 내부 카테고리 형태 및 위상 변화가 있는 물체 카테고리에 대해 로봇 조작 계획을 가능하게 하기 위해.
• 수동 재구성 또는 자세별 튜닝이 필요 없이 새로운 물체 인스턴스에 일반화되는 인지에서 행동으로 이르는 파ipeline을 개발하기 위해.
• 운동 계획에서 물리적 타당성(예: 충돌, 안정성)과 목표 구성에 대한 추론을 가능하게 하기 위해 조밀한 기하학과 의미 있는 키포인트를 통합하기 위해.
• 형태 변화에 취약한 자세 기반 계획과 물리적 추론에 필요한 기하학적 세부 정보가 부족한 키포인트 중심 계획의 한계를 극복하기 위해.
• 기존 조작 계획자가 제안된 하이브리드 표현을 사용해 카테고리 수준 작업으로 일반화될 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 인지와 계획 사이의 인터페이스로 의미 있는 3D 키포인트(목표 구성)와 조밀한 기하학(물리적 타당성)을 조합한 하이브리드 물체 표현을 사용한다.
• 학습 기반의 키포인트 검출 및 형태 복구 네트워크를 활용하여 원시 RGB-D 또는 RGB 이미지에서 직접 하이브리드 표현을 추론한다.
• 형태 복구를 통해 부분 관측에서 전체 물체 기하학을 복원함으로써 계획 중에 정확한 충돌 및 안정성 검사를 가능하게 한다.
• 하이브리드 표현을 사용하여 운동 계획 문제를 설정함으로써 계획자들이 목표 물체 구성(키포인트를 통해)과 물리적 제약(조밀한 기하학을 통해)을 모두 인코딩할 수 있도록 한다.
• 인지(키포인트 검출 + 형태 복구)와 기존 운동 계획자(예: 최적화 기반 또는 샘플링 기반)를 통합하여 새로운 인스턴스에 대한 일반화를 가능하게 한다.
• 시스템은 엔드 투 엔드로 훈련 가능하며 실제 로봇에서 실행 가능하며, 실패를 감지하기 위한 실행 모니터링 기능을 포함한다.

실험 결과

연구 질문

• RQ1 의미 있는 키포인트와 조밀한 기하학을 조합한 하이브리드 물체 표현이 큰 형태 및 위상 변화가 있는 카테고리 내 새로운 인스턴스에 대해 조작 계획을 일반화할 수 있는가?
• RQ2 원시 센서 데이터에서 추론된 형태 복구와 키포인트 검출이 카테고리 수준 조작 작업에 대해 물리적으로 타당한 운동 계획을 지원하는 데 얼마나 효과적인가?
• RQ3 기존 운동 계획자들이 제안된 하이브리드 표현을 사용해 작업 특화 재튜닝 없이도 카테고리 수준 작업으로 효과적으로 일반화될 수 있는가?
• RQ4 인지에서 행동으로 이르는 파이프라인의 실패 모드는 무엇이며, 이는 계획자 한계나 인지 오류와 어떻게 관련이 있는가?
• RQ5 형태 복구의 통합이 자세 기반 또는 키포인트 중심 접근에 비해 얼마나 더 강건한가?

주요 결과

• kPAM-SC 파이프라인은 하드웨어 실험에서 훈련 데이터를 초월해 새로운 머그, 신발, 머그랙 인스턴스에 대해 물리적으로 타당한 궤적을 성공적으로 계획하고 실행함으로써 일반화 능력을 입증했다.
• 형태 복구가 부분 관측에서 기하학적 재구성 정확도를 크게 향상시켜 충돌 및 잡기 안정성 검사를 신뢰성 있게 가능하게 했다.
• 이전 작업(kPAM)에서 요구되었던 중간 구성의 수동 특정화에 대한 의존도를 감소시켜 더 효율적이고 자동화된 계획을 가능하게 했다.
• 하드웨어 실험에서 실패율은 낮았으며, 대부분의 실패는 운동 계획자 내 국소 최적값이나 잡기 불안정성 때문이었고, 인지 오류 때문이 아니었다.
• 형태 복구와 키포인트 검출의 통합은 기존 계획자들이 카테고리 수준 작업으로 일반화되도록 가능하게 하여, 새로운 인스턴스에서 높은 성공률를 유지했다.
• 최소한의 인간 간섭으로 세 가지 다른 조작 작업에서 신뢰할 수 있는 작업 완료를 달성했다: 선반에 신발 놓기, 상자에 머그 놓기, 랙에 머그 매달기.