[논문 리뷰] Optimizing Correlated Graspability Score and Grasp Regression for Better Grasp Prediction

Amaury Depierre, Emmanuel Dellandréa외 1명|arXiv (Cornell University)|2020. 01. 31.

Robot Manipulation and Learning참고 문헌 18인용 수 13

한 줄 요약

이 논문은 깊이 학습 기반의 그립 예측에서 그립 가능성 평가와 그립 파라미터 회귀를 공동 손실 함수를 통해 연관지어, 그립 예측 정확도를 향상시키는 새로운 딥러닝 아키텍처를 제안한다. 시각 입력과 예측된 그립 파라미터를 기반으로 그립 품질을 평가하는 스코어링 네트워크를 훈련시킴으로써, 이 방법은 Jacquard 데이터셋에서 85.74%의 정확도를 달성했으며, 기준선 대비 3.61점 향상되었고, 실제 로봇에서는 92.4%의 성공률을 기록하여, 그립 품질 평가에서 유도된 피드백을 통해 회귀 예측을 정교화시킴으로써 최신 기술을 초월한다.

ABSTRACT

Grasping objects is one of the most important abilities that a robot needs to master in order to interact with its environment. Current state-of-the-art methods rely on deep neural networks trained to jointly predict a graspability score together with a regression of an offset with respect to grasp reference parameters. However, these two predictions are performed independently, which can lead to a decrease in the actual graspability score when applying the predicted offset. Therefore, in this paper, we extend a state-of-the-art neural network with a scorer that evaluates the graspability of a given position, and introduce a novel loss function which correlates regression of grasp parameters with graspability score. We show that this novel architecture improves performance from 82.13% for a state-of-the-art grasp detection network to 85.74% on Jacquard dataset. When the learned model is transferred onto a real robot, the proposed method correlating graspability and grasp regression achieves a 92.4% rate compared to 88.1% for the baseline trained without the correlation.

연구 동기 및 목표

• 딥러닝 기반의 그립 예측에서 독립적인 그립 가능성 평가와 그립 파라미터 회귀의 한계를 해결하기 위해.
• 그립 품질 평가와 회귀 출력을 연관지름으로써 일반화 능력과 실제 환경 성능을 향상시키기 위해.
• 더 나은 내부 그립 표현을 통해 시뮬레이션 데이터셋과 실제 로봇 응용 간의 현실 격차를 줄이기 위해.
• 주 그립 품질 점수를 통해 선택된 적대적 예제를 기반으로 스코어링 네트워크를 훈련시킴으로써 모델의 강건성을 향상시키기 위해.
• 복잡한 백본 아키텍처가 필요 없이 벤치마크 데이터셋과 실제 로봇 시스템에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이중 헤드 신경망을 도입: 하나의 헤드는 그립 파라미터(위치, 각도, 너비)를 회귀하고, 별도의 스코어링 네트워크는 시각 입력과 예측된 그립 파라미터를 기반으로 그립 가능성 평가를 수행한다.
• 그립 회귀와 그립 가능성 평가를 동시에 최적화하는 새로운 연관 손실 함수를 제안하여, 예측된 그립이 기하학적으로 정확할 뿐 아니라 실용적으로 가능하도록 보장한다.
• 훈련 중에 상위-T개의 그립 제안을 선택하기 위해 주 그립 품질 예측(PGP) 헤드를 사용하며, 이는 고영향력의 적대적 예제를 기반으로 스코어링 네트워크를 훈련시키는 데 활용된다.
• ResNet-50 백본을 사용하고, 특징 추출(FE)과 그립 제안 생성(PGP) 헤드를 거친 후, 각 예측 그립에 대한 그립 가능성 점수를 출력하는 스코어링 헤드를 배치한다.
• 데이터 증강과 전이 학습을 적용하여 Jacquard 데이터셋에서 훈련하고, 다양한 가정용 및 산업용 물체를 갖춘 실제 Fanuc 로봇 암에서 평가한다.
• 아블레이션을 통해 앵커 크기와 비율을 최적화하여, 평균 앵커 치수(91×26)가 정확도 향상에 가장 유리한 결과를 내며, 광범위한 그리드 서치가 필요 없음을 확인한다.

실험 결과

연구 질문

• RQ1 그립 가능성 평가와 그립 파라미터 회귀를 연관지음으로써 전체 그립 예측 성능을 향상시킬 수 있는가?
• RQ2 주 품질 점수로 선택된 상위-T개의 그립 제안을 기반으로 스코어링 네트워크를 훈련시키면 일반화 능력과 실제 환경 성능이 향상되는가?
• RQ3 제안된 방법은 벤치마크 데이터셋과 실제 로봇 시스템에서 최신 기술 대비 정확도 측면에서 어떻게 비교되는가?
• RQ4 앵커 크기와 비율은 최종 그립 예측 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처는 시뮬레이션 데이터와 실제 로봇 그립 예측 간의 현실 격차를 어느 정도 줄이는가?

주요 결과

• 제안된 방법은 Jacquard 데이터셋에서 85.74%의 정확도를 달성하였으며, 이는 이전 최신 기술 대비 1.74점 향상된 결과이다.
• 스코어링 네트워크가 없는 유사한 기준선 대비 3.61점 향상되었으며, 이는 연관 손실 함수와 스코어링 통합의 효과를 입증한다.
• 15개의 가정용 및 10개의 산업용 물체를 갖춘 실제 로봇 환경에서, 이 방법은 92.4%의 그립 성공률을 기록했으며, 기준선의 88.1% 대비 4.3점 향상되었다.
• 시각 입력과 예측된 그립 파라미터를 모두 기반으로 한 스코어링 네트워크가 예측한 그립 가능성 점수는 시각 입력만을 기반으로 하는 주 점수보다 더 정확하다.
• 앵커 크기는 성능에 미미한 영향을 미치며, 평균 앵커 치수(91×26)가 가장 우수한 결과(85.74%)를 내며, 광범위한 하이퍼파rameter 튜닝이 필요 없음을 확인하였다.
• 주 점수로 선택된 상위-T 제안을 기반으로 스코어링 네트워크를 훈련시키면, 모든 제안을 대상으로 훈련하는 것보다 더 좋은 수렴과 성능(82.36%)을 기록하였으며, 이는 적대적 예제 선택의 중요성을 강조한다.