[논문 리뷰] Towards Scale Balanced 6-DoF Grasp Detection in Cluttered Scenes

Haoxiang Ma, Di Huang|arXiv (Cornell University)|2022. 12. 10.

Robot Manipulation and Learning인용 수 9

한 줄 요약

이 논문은 클러터된 장면에서 소형 스케일의 그립을 개선된 국소 기하 표현을 통해 검출하기 위해 다중 척도 실린더 그룹화(MsCG) 모듈을 활용한 스케일 밸런스 6-도르의 자유도 그립 검출 프레임워크를 제안한다. 또한 학습 중에 미흡하게 표현된 소형 스케일 샘플을 우선시하기 위해 스케일 밸런스드 러닝(SBL) 손실 함수를 도입하고, 추론 중 소형 물체에 집중하기 위해 물체 밸런스드 샘플링(OBS) 전략을 적용한다. 이 방법은 GraspNet-1Billion에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 신규 물체에서 12.85%의 AP를 기록하고 소형 스케일 그립 검출에서 뚜렷한 성능 향상을 보였다. 실제 로봇 그립 실험을 통해 검증되었다.

ABSTRACT

In this paper, we focus on the problem of feature learning in the presence of scale imbalance for 6-DoF grasp detection and propose a novel approach to especially address the difficulty in dealing with small-scale samples. A Multi-scale Cylinder Grouping (MsCG) module is presented to enhance local geometry representation by combining multi-scale cylinder features and global context. Moreover, a Scale Balanced Learning (SBL) loss and an Object Balanced Sampling (OBS) strategy are designed, where SBL enlarges the gradients of the samples whose scales are in low frequency by apriori weights while OBS captures more points on small-scale objects with the help of an auxiliary segmentation network. They alleviate the influence of the uneven distribution of grasp scales in training and inference respectively. In addition, Noisy-clean Mix (NcM) data augmentation is introduced to facilitate training, aiming to bridge the domain gap between synthetic and raw scenes in an efficient way by generating more data which mix them into single ones at instance-level. Extensive experiments are conducted on the GraspNet-1Billion benchmark and competitive results are reached with significant gains on small-scale cases. Besides, the performance of real-world grasping highlights its generalization ability. Our code is available at https://github.com/mahaoxiang822/Scale-Balanced-Grasp.

연구 동기 및 목표

• 현재 방법들이 스케일 분포가 불균형한 탓에 대형 및 중형 물체에 치우쳐 소형 스케일 그립 검출 성능이 열 劣한 클러터된 3D 장면에서의 문제를 해결하기 위함.
• 소형 또는 박리한 물체의 국소 기하 표현을 향상시키기 위해 새로운 다중 척도 실린더 그룹화(MsCG) 모듈을 통해 다중 척도 구조적 특징을 캡처함으로써 국소 기하 표현을 향상시키기 위함.
• 학습 중 스케일 분포 불균형이 초래하는 부정적 영향을 줄이기 위해, 저빈도(소형) 스케일에 대해 기울기를 증폭시키는 스케일 밸런스드 러닝(SBL) 손실 함수를 설계함으로써 이를 완화하기 위함.
• 추론 중 소형 물체에 대한 탐지 민감도를 향상시키기 위해 보조 세그멘테이션 네트워크를 사용하여 소형 스케일 물체에 더 많은 포인트 샘플링을 우선시하는 물체 밸런스드 샘플링(OBS) 전략을 도입함.
• 합성 및 실제 RGB-D 데이터 간의 도메인 갭을 줄이기 위해 인스턴스 수준에서 청소된 점군과 노이즈가 있는 점군을 혼합하는 노이즈-클린 믹스(NcM) 데이터 증강 방법을 제안함.

제안 방법

• 다중 척도 실린더 그룹화(MsCG) 모듈은 여러 척도에서 실린더 특징을 집계하여 국소 기하 표현을 풍부하게 하고 글로벌 컨텍스트를 통합함으로써 미세한 형태의 구분 능력을 향상시킴.
• 스케일 밸런스드 러닝(SBL) 손실은 그립 스케일 빈도에 기반한 클래스 인식, 사전 가중치를 기울기에 적용하여 학습 중에 미흡하게 표현된 소형 스케일 그립에 대해 최적화 신호를 증가시킴.
• 물체 밸런스드 샘플링(OBS) 전략은 보조 세그멘테이션 네트워크를 사용하여 소형 스케일 물체를 식별하고 추론 중에 이들에서 더 많은 포인트를 샘플링함으로써 탐지 민감도를 향상시킴.
• 노이즈-클린 믹스(NcM) 데이터 증강은 인스턴스 수준에서 청소된 합성 점군과 실제 노이즈가 있는 스캔을 혼합하여 합성 학습 샘플을 생성함으로써 센서 노이즈에 대한 내성 향상.
• 전체 프레임워크는 MsCG를 특징 추출에, SBL를 손실 가중치에, OBS를 추론 샘플링에, NcM를 데이터 증강에 사용하여 엔드 투 엔드 6-DoF 그립 검출 파이프라인으로 통합함.

실험 결과

연구 질문

• RQ1 클러터된 장면에서 포인트 클라우드 밀도가 낮은 소형 또는 박리한 물체의 국소 기하 표현은 어떻게 향상시킬 수 있는가?
• RQ2 학습 중 스케일 분포 불균형이 초래하는 부정적 영향을 줄이기 위해 손실 함수를 얼마나 효과적으로 설계할 수 있는가?
• RQ3 재학습 없이도 추론 중 샘플링 전략을 통해 소형 스케일 물체의 그립 검출 성능을 향상시킬 수 있는가?
• RQ4 인스턴스 수준의 노이즈-클린 믹스 데이터 증강은 합성 및 실제 RGB-D 데이터 간의 도메인 갭을 얼마나 효과적으로 줄이는가?
• RQ5 제안된 프레임워크는 실제로 소형 스케일 또는 검출이 어려운 물체에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 GraspNet-1Billion 벤치마크에서 본 물체에서 63.83%의 AP, 유사 물체에서 58.46%, 신규 물체에서 24.63%의 AP를 기록하였으며, 소형 스케일 그립 검출에서 이전 방법들보다 뚜렷한 성능 향상을 보였다.
• 신규 물체에서 CD(충돌 탐지) 헤드를 사용하여 12.85%의 AP를 기록하였으며, 이는 베이스라인 대비 10.0%의 절대적 향상으로, 새로운 물체에 대한 강력한 일반화 능력을 보여줌.
• 실제 실험에서 고립된 소형 스케일 물체(GSS)에서 80.00%의 성공률을 기록하였고, 베이스라인 대비 56.67%보다 높아 소형 스케일 그립 처리의 효과성을 확인함.
• 5~6개의 물체가 혼잡한 장면에서 88.24%의 성공률과 96.77%의 장면 완성도를 기록하였으며, 둘 다 베이스라인을 초월하여 복잡한 환경에서도 뛰어난 내성과 안정성을 보여줌.
• 절단 분석 결과, 각 구성 요소인 MsCG, SBL, OBS, NcM가 성능 향상에 기여하며, 모든 지표에서 조합이 가장 우수한 성능을 기록함.