[논문 리뷰] GDN: A Coarse-To-Fine (C2F) Representation for End-To-End 6-DoF Grasp Detection

Kuang-Yu Jeng, Yueh-Cheng Liu외 5명|arXiv (Cornell University)|2020. 10. 21.

Robot Manipulation and Learning참고 문헌 17인용 수 14

한 줄 요약

이 논문은 포인트 클라우드에서 빠르고 다양한 포지션 예측이 가능한 새로운 코arse-to-fine (C2F) 표현을 사용하는 일단계(end-to-end) 6-DoF 그립 탐지 네트워크인 GDN을 제안한다. 그립 자세를 코어스 레벨에서 신뢰도 격자로 모델링하고 잔차 보정을 통해 정밀화함으로써, 기존의 이단계 기반 방법보다 20배 빠른 추론 속도와 더 높은 성공률(단일 물체 시나리오에서 8% 향상, 혼잡한 시나리오에서 완료율 40% 향상)을 달성한다.

ABSTRACT

We proposed an end-to-end grasp detection network, Grasp Detection Network (GDN), cooperated with a novel coarse-to-fine (C2F) grasp representation design to detect diverse and accurate 6-DoF grasps based on point clouds. Compared to previous two-stage approaches which sample and evaluate multiple grasp candidates, our architecture is at least 20 times faster. It is also 8% and 40% more accurate in terms of the success rate in single object scenes and the complete rate in clutter scenes, respectively. Our method shows superior results among settings with different number of views and input points. Moreover, we propose a new AP-based metric which considers both rotation and transition errors, making it a more comprehensive evaluation tool for grasp detection models.

연구 동기 및 목표

• 이해관계자 기반의 레이블 선택으로 인해 느리고 자주 자세 다양성을 포착하지 못하는 이단계 6-DoF 그립 탐지의 한계를 해결한다.
• 단일단계 6-DoF 그립 네트워크에서 발생하는 레이블 다양성 문제를 해결한다. 일반적으로 각 포인트당 하나의 참값 그립만 사용되기 때문에 일반화 성능이 열악해진다.
• 한 번의 순방향 전파에서 다수의 다양한 그립 자세를 예측할 수 있도록 하는 새로운 코어스-투-파인 (C2F) 표현을 설계한다.
• 희박한 포인트 클라우드와 다양한 입력 시야에 대한 강건성을 향상시켜, 다양한 센싱 조건에서도 일관된 성능을 확보한다.
• 회전 오차와 이동 오차를 동시에 고려하는 새로운 AP 기반 평가 지표를 제안하여 보다 종합적인 모델 평가를 가능하게 한다.

제안 방법

• 입력 포인트 클라우드를 그립 포인트로 하향 샘플링하기 위해 PointNet++ 기반 백본을 사용하며, 이 포인트들이 잠재적 그립 예측의 중심이 된다.
• 코어스-투-파인 (C2F) 표현을 도입: 코어스 부분은 이산화된 그립 자세 방향에 대한 신뢰도 격자로 정의되고, 정밀화 부분은 선택된 코어스 자세를 보정하기 위한 잔차 오프셋을 사용한다.
• 공유된 다층 퍼셉트론을 사용해 각 그립 포인트에서 직접 C2F 표현을 예측함으로써 종단간 학습 및 추론을 가능하게 한다.
• C2F 표현을 최종 6-DoF 그립 자세(위치 + 자세)로 변환하기 위해 미분 가능한 변환을 적용한다.
• 회전 오차와 이동 오차를 통합하여 그립 탐지 성능을 평가하는 새로운 평균 정밀도 (AP)-기반 지표를 통합한다.
• C2F 표현에 대한 지도를 받는 손실 함수를 사용해 종단간 학습을 수행하며, 그립 품질과 자세 정확도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 레이블 다양성을 유지함으로써, 이단계 기반 기준 대비 더 높은 정확도와 빠른 속도를 달성할 수 있는가?
• RQ2 제안된 코어스-투-파인 (C2F) 표현이 높은 추론 효율성을 유지하면서 다양한 그립 자세를 효과적으로 모델링할 수 있는가?
• RQ3 희박한 포인트 클라우드 입력과 다양한 수의 입력 시야 조건 하에서 C2F 표현이 일반화 및 강건성에 얼마나 기여하는가?
• RQ4 회전 오차와 이동 오차를 모두 고려하는 새로운 AP 기반 지표가 더 신뢰도 있고 환경에 독립적인 그립 탐지 모델 평가를 제공하는가?
• RQ5 이전 방법이 자세 군집화와 다양성 부족으로 실패하는 도전적인 혼잡한 시나리오에서도 모델이 높은 성능을 유지할 수 있는가?

주요 결과

• GDN은 단일 물체 그립 시나리오에서 95.6%의 성공률을 달성하여, YCB 데이터셋에서 다음으로 높은 성능을 보인 PointNetGPD 대비 8% 향상된 성능을 보였다.
• 혼잡한 시나리오에서는 85.33%의 완료율을 기록하여, PointNetGPD 대비 40% 향상되고 GPD 대비 39% 향상되어 뛰어난 강건성을 입증했다.
• GDN은 최신 이단계 기반 방법(GPD 및 PointNetGPD)보다 20배 이상 빠른 속도를 기록했으며, 샘플당 추론 시간이 0.10초로 GPD의 3.32초 대비 빠르게 성능을 확보했다.
• 희박한 포인트 클라우드 조건에서도 GDN은 입력 포인트 수를 256로 줄였을 때 $AP_H$가 7.6% 감소에 그쳐, S4G 및 PointNetGPD가 50% 이상 성능 저하를 겪는 것과 대비해 뛰어난 성능 유지를 보였다.
• t-SNE 시각화 결과 GDN 예측 결과는 참값 그립의 전체 분포를 고르게 커버하며 높은 다양성을 확보한 반면, GPD 및 PointNetGPD는 군집화된 비다양성 예측을 보였다.
• 제거 실험 결과 C2F 표현과 코시-롤 정규화를 함께 사용할 경우 $AP_H$가 0.8380으로 가장 높게 나타나, 두 구성 요소 모두 효과적임을 확인했다.