[논문 리뷰] Fully Convolutional Grasp Detection Network with Oriented Anchor Box

Xinwen Zhou, Xuguang Lan외 4명|arXiv (Cornell University)|2018. 03. 06.

Robot Manipulation and Learning인용 수 22

한 줄 요약

이 논문은 RGB 이미지에서 실시간으로 다중 그립 감지를 위한 완전 컨볼루션 신경망을 제안한다. 기울기 있는 앵커 박스를 사용함으로써, 종래의 종단 간 아키텍처와 새로운 매칭 전략을 결합한 모델은 Cornell Grasp Dataset의 이미지별 분할에서 97.74%의 정확도를 달성하고, 물체별 분할에서는 96.61%의 정확도를 기록하여 이전 최고 성능 방법보다 각각 1.74%와 0.51% 높은 성능을 보였다.

ABSTRACT

In this paper, we present a real-time approach to predict multiple grasping poses for a parallel-plate robotic gripper using RGB images. A model with oriented anchor box mechanism is proposed and a new matching strategy is used during the training process. An end-to-end fully convolutional neural network is employed in our work. The network consists of two parts: the feature extractor and multi-grasp predictor. The feature extractor is a deep convolutional neural network. The multi-grasp predictor regresses grasp rectangles from predefined oriented rectangles, called oriented anchor boxes, and classifies the rectangles into graspable and ungraspable. On the standard Cornell Grasp Dataset, our model achieves an accuracy of 97.74% and 96.61% on image-wise split and object-wise split respectively, and outperforms the latest state-of-the-art approach by 1.74% on image-wise split and 0.51% on object-wise split.

연구 동기 및 목표

• RGB 이미지를 사용하여 평행판 로봇 그립퍼를 위한 다중 그립 포즈를 실시간으로 정확하게 예측할 수 있도록 하는 것.
• 기존의 앵커 기반 방법의 한계를 보완하기 위해, 그립 사각형의 기하학적 변동성을 더 잘 반영할 수 있는 기울기 있는 앵커 박스를 도입하는 것.
• 기울기 있는 그립 제안에 특화된 새로운 훈련 매칭 전략을 통해 일반화 능력과 검출 정확도를 향상시키는 것.
• 완전히 컨볼루션된 엔드 투 엔드 아키텍처를 개발하여, 그립 파라미터를 효율적으로 회귀하고 그립 가능성 여부를 분류하는 것.
• Cornell Grasp Dataset와 같은 표준 벤치마크에서 기존 최고 성능 방법을 뛰어넘는 것.

제안 방법

• 깊이 있는 특징 추출기와 다중 그립 예측기로 구성된 완전 컨볼루션 신경망을 사용한다.
• 기울기 있는 앵커 박스—사전 정의된 기울기 있는 직사각형—를 사용하여 그립 예측의 기준 영역으로 삼아, 기울어진 그립 포즈의 정밀한 국소화를 가능하게 한다.
• 지표 그립을 가장 적절한 기울기 있는 앵커 박스에 할당하기 위해 새로운 훈련 매칭 전략을 도입하여 학습 효율성을 향상시킨다.
• 다중 그립 예측기는 단일 순방향 전파에서 분류(그립 가능 vs. 그립 불가능)와 회귀(경계 상자 좌표 및 방향)를 동시에 수행한다.
• 분류 및 회귀 헤드를 동시에 최적화하는 병합 손실 함수를 사용하여 네트워크를 종단 간으로 훈련시킨다.
• 백본 CNN의 특징 맵을 활용하여 다양한 공간 해상도에서 그립 후보를 예측함으로써, 이미지 전역에 걸쳐 고밀도 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기울기 있는 앵커 박스를 사용하는 완전 컨볼루션 네트워크가 기존 축에 맞춰진 앵커 기반 방법에 비해 그립 감지 정확도를 향상시킬 수 있는가?
• RQ2 훈련 중에 도입된 새로운 매칭 전략이 그립 예측의 국소화 및 분류 성능에 어떤 영향을 미치는가?
• RQ3 기울기 있는 앵커 박스의 사용이 RGB 이미지에서 기울어진 그립 포즈를 감지하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 종단 간 완전 컨볼루션 설계가 표준 벤치마크 데이터셋에서 높은 정확도를 유지하면서도 실시간 추론을 가능하게 하는가?
• RQ5 다양한 평가 분할에서 기존 최고 성능 방법에 비해 제안된 방법의 정확도와 강건성 측면에서 어떤 차이를 보이는가?

주요 결과

• 제안된 모델은 Cornell Grasp Dataset의 이미지별 분할에서 97.74%의 정확도를 달성하여 이전 최고 성능 방법보다 1.74% 높은 성능을 기록했다.
• 물체별 분할에서는 96.61%의 정확도를 기록하여 최신 SOTA 방법보다 0.51% 향상된 성능을 보였다.
• 기울기 있는 앵커 박스의 사용은 축에 맞춰진 기반 방법 대비 기울어진 그립 포즈의 국소화 정확도를 크게 향상시켰다.
• 훈련 중 도입된 새로운 매칭 전략은 지표 그립을 적절한 앵커 박스에 할당하는 능력을 향상시켜 수렴 속도를 빠르게 하고 성능을 향상시켰다.
• 종단 간 완전 컨볼루션 설계는 높은 효율성과 다양한 물체 유형에 걸쳐 강건한 실시간 추론을 가능하게 했다.
• 모델는 다양한 테스트 분할에 걸쳐 강력한 일반화 능력을 보이며, 새로운 물체와 이미지에 대해서도 신뢰할 수 있는 성능을 보였다.