[논문 리뷰] CaTGrasp: Learning Category-Level Task-Relevant Grasping in Clutter from Simulation

Bowen Wen, Wenzhao Lian외 2명|arXiv (Cornell University)|2021. 09. 19.

Robot Manipulation and Learning인용 수 4

한 줄 요약

CaTGrasp는 실세계 데이터 수집 또는 수동 애너테이션 없이, 밀도 높은 혼잡한 환경에서 카테고리 수준의 작업 관련 그립을 학습하기 위한 시뮬레이션 전용 프레임워크를 제안한다. 이는 작업 관련 그립 지식을 다양한 물체 인스턴스 간에 전이할 수 있도록 하는 새로운 비균일 정규화된 물체 좌표 공간(NUNOCS)을 사용하여, 고밀도 3D 대응을 가능하게 한다. 실세계 테스트에서 93.3%의 작업 관련 그립 성공률을 기록하며, 실세계 미세조정 없이도 기존의 기준 모델들을 상당한 격차로 압도한다.

ABSTRACT

Task-relevant grasping is critical for industrial assembly, where downstream manipulation tasks constrain the set of valid grasps. Learning how to perform this task, however, is challenging, since task-relevant grasp labels are hard to define and annotate. There is also yet no consensus on proper representations for modeling or off-the-shelf tools for performing task-relevant grasps. This work proposes a framework to learn task-relevant grasping for industrial objects without the need of time-consuming real-world data collection or manual annotation. To achieve this, the entire framework is trained solely in simulation, including supervised training with synthetic label generation and self-supervised, hand-object interaction. In the context of this framework, this paper proposes a novel, object-centric canonical representation at the category level, which allows establishing dense correspondence across object instances and transferring task-relevant grasps to novel instances. Extensive experiments on task-relevant grasping of densely-cluttered industrial objects are conducted in both simulation and real-world setups, demonstrating the effectiveness of the proposed framework. Code and data are available at https://sites.google.com/view/catgrasp.

연구 동기 및 목표

• 수동 애너테이션 또는 실세계 데이터 수집 없이, 산업용 물체가 밀도 높은 혼잡한 환경에서 작업 관련 그립을 학습하는 데 도전하는 것.
• 형태와 크기의 변동이 있는 새로운, 볼 수 없는 물체 인스턴스에 대해 일반화할 수 있도록 하는 것.
• 희소 키포인트 애너테이션에 의존하지 않고 3D 형상 전역에 걸쳐 고밀도의 점별 작업 관련성 모델링하는 것.
• 카테고리 수준의 인스턴스 간 신뢰할 수 있는 고밀도 대응을 지원하는 캐논리컬, 물체 중심의 표현을 개발하는 것.
• 전체 프레임워크를 시뮬레이션에서 엔드 투 엔드로 훈련하고, 재조정 없이도 실세계에 직접 구현하는 것.

제안 방법

• 큰 형태 변화가 있는 3D 물체 인스턴스 간에 세밀한 고밀도 대응을 가능하게 하는 비균일 스케일링 캐논리컬 좌표 공간인 NUNOCS를 도입한다.
• 시뮬레이션 내에서 자기지도 학습 기반의 손-물체 상호작용을 활용하여, 후속 작업 실행 성공 가능성을 나타내는 고밀도의 작업 관련 접촉 히트맵을 생성한다.
• 학습된 그립 코드북과 NUNOCS를 통한 카테고리 수준 지식 전이를 융합한 하이브리드 그립 제안 메커니즘을 사용하여 커버리지와 안정성을 향상시킨다.
• 기하학적 안정성과 작업 관련성 신호를 모두 포함한 시뮬레이션을 통한 합성 레이블을 사용하여 지도 학습을 수행한다.
• 지도 학습과 자기지도 학습 목표를 조합하여 시뮬레이션에서 엔드 투 엔드로 전체 시스템을 훈련함으로써 카테고리 수준의 사전 지식을 학습한다.
• 학습된 그립 정책을 재훈련 없이도 실세계의 새로운 물체 인스턴스에 직접 전이한다. 3D 모델 확보 없이도 가능하다.

실험 결과

연구 질문

• RQ1 사용자 애너테이션 레이블이나 실세계 데이터 수집 없이도, 시뮬레이션에서 작업 관련 그립을 효과적으로 학습할 수 있는가?
• RQ2 캐논리컬 3D 표현이 동일 카테고리 내 다양한 물체 인스턴스 간에 안정적인 고밀도 대응을 가능하게 하는가?
• RQ3 희소 키포인트 기반 접근 방식에 비해 복잡한 혼잡한 환경에서 고밀도의 점별 작업 관련성 모델링이 성능을 향상시키는가?
• RQ4 시뮬레이션에서 훈련된 정책이 실세계에서 볼 수 없는 치수와 형태 변화를 가진 새로운 물체 인스턴스에 일반화 가능한가?
• RQ5 제안된 NUNOCS 표현 방식은 표준 NOCS에 비해 작업 관련 그립에 대한 지식 전이를 얼마나 잘 지원하는가?

주요 결과

• 제안된 방법은 실세계 테스트에서 93.3%의 작업 관련 그립 성공률을 기록하며, PointNetGPD 및 Ours-NA를 포함한 모든 기준 모델들을 상당한 격차로 압도했다.
• 시뮬레이션 환경에서는 94.5%의 작업 관련 그립 성공률을 달성하여, 합성 데이터에서 실세계로의 강력한 일반화 능력을 입증했다.
• NUNOCS 표현 방식은 표준 NOCS에 비해 뛰어난 지식 전이 성능을 보였으며, 특히 형태 변화가 극심한 물체인 HMN2에서 성능 격차가 가장 두드러졌다.
• 손잡이 코드북을 통해 음영과 복잡한 영역까지 효과적으로 커버링함으로써, 높은 안정성 있는 그립 성공률(83.3%)과 동시에 강력한 작업 관련성을 유지했다.
• 시뮬레이션과 실세계 간 성능 격차가 가장 작은 카테고리는 스크류였지만, 작고 반사성이 강하고 쉽게 굴러가는 물체의 도전 과제로 인해 여전히 눈에 띄는 격차가 존재했다.
• 제거 실험 결과, 고밀도 접촉 히트맵과 NUNOCS 표현 방식이 높은 작업 관련성 달성에 핵심적인 역할을 했음을 확인했으며, Ours-NOCS 및 Ours-NA는 유의미하게 낮은 성공률을 기록했다.