[논문 리뷰] Real-Time, Highly Accurate Robotic Grasp Detection using Fully Convolutional Neural Networks with High-Resolution Images

Dong-Won Park, Yonghyeok Seo외 1명|arXiv (Cornell University)|2018. 09. 16.

Robot Manipulation and Learning참고 문헌 17인용 수 25

한 줄 요약

이 논문은 고해상도 RGB-D 이미지를 사용하여 실시간으로 고정확도의 로봇 그립 감지를 위한 완전 컨volution 신경망(FCNN) 기반 방법을 제안한다. 엔드 투 엔드 학습과 새로운 자동 시각-로봇 캘리브레이션 기술을 활용함으로써, 360×360 이미지당 6–20ms의 추론 시간으로 신규 소형 물체에 대해 96.6%의 그립 감지 정확도와 90%의 그립 성공률을 달성한다.

ABSTRACT

Robotic grasp detection for novel objects is a challenging task, but for the last few years, deep learning based approaches have achieved remarkable performance improvements, up to 96.1% accuracy, with RGB-D data. In this paper, we propose fully convolutional neural network (FCNN) based methods for robotic grasp detection. Our methods also achieved state-of-the-art detection accuracy (up to 96.6%) with state-of- the-art real-time computation time for high-resolution images (6-20ms per 360x360 image) on Cornell dataset. Due to FCNN, our proposed method can be applied to images with any size for detecting multigrasps on multiobjects. Proposed methods were evaluated using 4-axis robot arm with small parallel gripper and RGB-D camera for grasping challenging small, novel objects. With accurate vision-robot coordinate calibration through our proposed learning-based, fully automatic approach, our proposed method yielded 90% success rate.

연구 동기 및 목표

• 고해상도 RGB-D 이미지를 사용하여 신규 소형 물체에 대해 실시간으로 고정확도의 로봇 그립 감지를 가능하게 하기.
• 다중 물체 및 다중 그립 시나리오가 포함된 복잡하고 혼잡한 환경에서 정확하고 효율적인 그립 감지 문제를 해결하기.
• 시스템 신뢰도를 향상시키고 수동 설정을 줄이기 위해 완전 자동, 학습 기반의 시각-로봇 좌표 캘리브레이션 방법 개발하기.
• 기본 벤치마크에서 정확도와 추론 속도 양면에서 최신 기술 수준의 성능 달성하기.

제안 방법

• 전체 컨volution 신경망(FCNN) 아키텍처를 사용하여 고해상도 RGB-D 이미지를 엔드 투 엔드로 처리함으로써, 그립 후보의 조밀한 예측을 가능하게 한다.
• FCNN는 영역 제안 네트워크 없이 입력 이미지에서 직접 그립 접근성 맵(각도, 너비, 품질 포함)을 예측하도록 훈련된다.
• 카메라와 로봇 좌표계를 최소한의 인간 간섭으로 정렬하기 위해 새로운 학습 기반, 완전 자동의 시각-로봇 좌표 캘리브레이션 방법을 도입한다.
• 작은 평행 그립퍼를 장착한 4축 로봇 암에 시스템을 구현하고, 실시간 추론을 통해 그립 동작을 안내한다.
• 추론 속도 최적화를 통해 360×360 이미지당 6–20ms의 성능을 달성하여 실시간 운영을 가능하게 한다.
• 임의의 입력 이미지 크기를 지원하며, 동시에 여러 물체에 대한 다중 그립을 감지할 수 있다.

실험 결과

연구 질문

• RQ1 완전 컨volution 신경망은 고해상도 RGB-D 이미지에서 고정확도의 그립 감지를 유지하면서도 실시간 추론을 달성할 수 있는가?
• RQ2 제안된 자동 시각-로봇 캘리브레이션 방법은 수동 캘리브레이션에 비해 그립 성공률을 얼마나 향상시키는가?
• RQ3 실생활 환경에서 신규 소형 및 도전적인 물체에 대한 그립 감지 성능은 어떠한가?
• RQ4 FCNN 기반 접근법은 다중 그립, 다중 물체 시나리오에서 다양한 물체 크기와 구성에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 FCNN 기반 방법은 Cornell 데이터셋에서 96.6%의 그립 감지 정확도를 달성하여 이전 최고 기술 수준을 초월했다.
• 시스템은 360×360 이미지당 6–20ms의 지연 시간으로 실시간 추론을 구현하여 로봇 시스템에 실용적인 구현이 가능했다.
• 제안된 자동 시각-로봇 캘리브레이션을 통해 로봇은 신규 소형 물체에 대해 90%의 성공률을 달성했다.
• 이 방법은 동시에 여러 물체에 대한 다중 그립을 성공적으로 감지하여, 복잡한 장면에서의 확장성과 내구성을 입증했다.
• FCNN 아키텍처는 재학습 없이도 임의의 이미지 크기에서 추론이 가능하게 하여 실생활 응용에 대한 유연성을 향상시켰다.
• 고해상도 입력과 엔드 투 엔드 학습의 통합은 그립 국소화 및 감지 신뢰도를 크게 향상시켰다.