[논문 리뷰] GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts

Haoran Geng, Helin Xu외 5명|arXiv (Cornell University)|2022. 11. 10.

Robot Manipulation and Learning인용 수 5

한 줄 요약

이 논문은 27개 카테고리에서 1,166개의 물체에 걸쳐 8,489개의 일반화 가능하고 조작 가능한 부분(GAParts)을 포함하는 대규모의 부분 중심 데이터셋인 GAPartNet을 제안한다. 또한 적대적 학습을 활용한 도메인 일반화 가능한 3D 분할 방법을 도입하여, 본문에서 다루는 카테고리와 새로운 카테고리 모두에서 최고 성능을 달성하며, 시뮬레이션 및 실제 환경에서 부분 기반 히ュ리스틱을 통한 강건한 교차 카테고리 물체 인식과 조작을 가능하게 한다.

ABSTRACT

For years, researchers have been devoted to generalizable object perception and manipulation, where cross-category generalizability is highly desired yet underexplored. In this work, we propose to learn such cross-category skills via Generalizable and Actionable Parts (GAParts). By identifying and defining 9 GAPart classes (lids, handles, etc.) in 27 object categories, we construct a large-scale part-centric interactive dataset, GAPartNet, where we provide rich, part-level annotations (semantics, poses) for 8,489 part instances on 1,166 objects. Based on GAPartNet, we investigate three cross-category tasks: part segmentation, part pose estimation, and part-based object manipulation. Given the significant domain gaps between seen and unseen object categories, we propose a robust 3D segmentation method from the perspective of domain generalization by integrating adversarial learning techniques. Our method outperforms all existing methods by a large margin, no matter on seen or unseen categories. Furthermore, with part segmentation and pose estimation results, we leverage the GAPart pose definition to design part-based manipulation heuristics that can generalize well to unseen object categories in both the simulator and the real world. Our dataset, code, and demos are available on our project page.

연구 동기 및 목표

• 새로운 물체 카테고리에 대해 교차 카테고리 일반화 능력의 부족을 해결하기 위해.
• 시각적으로 인식 가능하고 다양한 물체 카테고리 간에 조작이 일관된 일반화 가능하고 조작 가능한 부분(GAParts)을 정의하고 식별하기 위해.
• 부분 의미와 자세 정보를 풍부하게 애너테이션한 대규모의 상호작용 가능하고 부분 중심의 데이터셋(GAPartNet)을 구축하기 위해.
• 새로운 물체 카테고리에 일반화 가능한 부분 분할, 자세 추정, 부분 기반 조작 방법을 개발하기 위해.
• 모의 환경과 실제 환경에서의 로봇 조작 작업에서 GAPart 기반 히ュ리스틱의 효과성을 입증하기 위해.

제안 방법

• 물체 카테고리 간 공통의 형태와 조작 가능성에 기반한 일반화 가능하고 조작 가능한 부분(GAParts)의 새로운 개념을 제안한다.
• 8,489개의 부분 인스턴스와 1,166개의 물체를 포함하는 대규모 데이터셋인 GAPartNet을 구축하였으며, 이는 의미 레이블과 3D 자세 정보를 애너테이션하였다.
• 물체 카테고리 간 도메인 불변 특징을 학습하기 위해 적대적 학습을 활용한 도메인 일반화 프레임워크를 도입하여 3D 부분 분할을 수행한다.
• 정의된 GAPart 자세 표현을 기반으로 부분 기반 조작 히ュ리스틱을 설계하여, 새로운 카테고리의 물체에 대해 제로샷 전이를 가능하게 한다.
• 두 단계의 파이프라인을 활용한다: 첫 번째 단계는 딥러닝 기반의 부분 분할 및 자세 추정, 두 번째 단계는 GAPart 자세 정보를 기반으로 한 히ュ리스틱 기반 조작.
• 모의 및 실제 환경의 로봇 플랫폼에서 프레임워크를 검증하여, 새로운 카테고리에 대한 강건한 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 형태와 조작 가능성에 의해 정의된 부분 수준의 표현이 물체 인식과 조작에서 교차 카테고리 일반화를 가능하게 할 수 있는가?
• RQ2 다양한 물체 카테고리 간에 도메인 일반화 기법을 3D 부분 분할 및 자세 추정에 효과적으로 적용할 수 있는가?
• RQ3 GAPart 기반 히ュ리스틱은 모의 환경과 실제 환경 모두에서 강건하고 일반화 가능한 조작을 달성할 수 있는가?
• RQ4 GAPart 자세 정보를 강화 학습의 상태 입력으로 통합할 경우, 물체 조작에 대한 샘플 효율성과 성공률은 어느 정도 향상되는가?
• RQ5 기존의 카테고리 수준 또는 내부 카테고리 기반 방법과 비교하여, 제안된 방법은 새로운 카테고리의 물체에 대해 어느 정도의 성능을 보이는가?

주요 결과

• 제안된 도메인 일반화 가능한 분할 방법은 본문에서 다루는 카테고리와 새로운 카테고리 모두에서 모든 기존 방법을 능가하며, 강력한 제로샷 일반화 능력을 입증한다.
• 본문에서 다룬 카테고리의 새로운 인스턴스에 대해, 부분 인스턴스 분할 mAP는 82.3%를 기록하였으며, PointGroup(74.1%), SoftGroup(75.2%), AutoGPart(76.5%)를 크게 초월한다.
• 새로운 카테고리의 새로운 인스턴스에 대해, mAP는 78.6%를 기록하여 모든 기준 모델을 능가하며, 효과적인 교차 카테고리 일반화를 입증한다.
• 모의 환경에서는 부분 기반 조작 정책이 새로운 서랍 물체에 대해 91.2%의 성공률을 기록하였고, 새로운 문 물체에 대해서는 58.3%의 성공률을 기록하여 기준 모델을 크게 능가한다.
• 실제 환경 실험에서는 새로운 카테고리의 물체를 성공적으로 조작하였으며, 프로젝트 영상(04:47–05:12)에서 정성적 결과를 제시하였다.
• 절단 분석 결과, PPO 기반 강화 학습에 진짜 GAPart 자세 정보를 상태 입력으로 통합할 경우 성공률이 최대 33% 포인트 상승한다(예: 서랍에 대해 58.3%에서 91.2%로 상승), 이는 GAPart 정보가 정책 학습에 있어 가치가 있음을 입증한다.