[논문 리뷰] Pregrasp Object Material Classification by a Novel Gripper Design with Integrated Spectroscopy

Nathaniel Hanson, Tarik Keleştemur외 2명|arXiv (Cornell University)|2022. 07. 03.

Advanced Chemical Sensor Technologies인용 수 5

한 줄 요약

이 논문은 접촉 없이 사전에 물체의 재질을 분류할 수 있도록 통합된 가시광선-근적외선(VNIR) 분광법과 내 endoscopic 영상 촬영 기능을 갖춘 신개념 이중 손가락 로봇 그립퍼를 제시한다. 스펙트럼 데이터를 바탕으로 비선형 회귀 SVM를 적용한 결과, 32종의 외관이 유사한 과일 종류를 96.4%의 정확도로 구분하였으며, 최신의 시각 기반 방법보다 29.4% 높은 성능을 보였다. 이는 그립퍼가 물체에 가까이 다가올수록 신뢰도가 증가하는 방식이다.

ABSTRACT

Robots benefit from being able to classify objects they interact with or manipulate based on their material properties. This capability ensures fine manipulation of complex objects through proper grasp pose and force selection. Prior work has focused on haptic or visual processing to determine material type at grasp time. In this work, we introduce a novel parallel robot gripper design and a method for collecting spectral readings and visual images from within the gripper finger. We train a nonlinear Support Vector Machine (SVM) that can classify the material of the object about to be grasped through recursive estimation, with increasing confidence as the distance from the finger tips to the object decreases. In order to validate the hardware design and classification method, we collect samples from 16 real and fake fruit varieties (composed of polystyrene/plastic) resulting in a dataset containing spectral curves, scene images, and high-resolution texture images as the objects are grasped, lifted, and released. Our modeling method demonstrates an accuracy of 96.4% in classifying objects in a 32 class decision problem. This represents a performance improvement by 29.4% over the state of the art computer vision algorithms at distinguishing between visually similar materials. In contrast to prior work, our recursive estimation model accounts for increasing spectral signal strength and allows for decisions to be made as the gripper approaches an object. We conclude that spectroscopy is a promising sensing modality for enabling robots to not only classify grasped objects but also understand their underlying material composition.

연구 동기 및 목표

• 접촉 없이 실시간으로 물체를 집기 전에 재질을 분류할 수 있는 그립퍼 설계를 개발하는 것.
• 실제 과일과 가짜 과일처럼 외관이 유사한 재료를 촉각적 상호작용 없이도 구분하는 데 도전하는 것.
• 작은 공간에 VNIR 분광법과 고해상도 영상 촬영 기능을 통합하여 강력한 재질 감지 기능을 구현하는 것.
• 그립퍼가 물체에 점점 가까워질수록 순차적인 스펙트럼 샘플을 이용해 분류 신뢰도를 향상시키기 위한 순차적 추정 기법을 도입하는 것.
• 스펙트럼, 시각적 이미지 및 질감 데이터를 포함한 다양한 16종의 실제 및 가짜 과일 종류로 구성된 데이터셋을 바탕으로 시스템을 검증하는 것.

제안 방법

• 접촉 없이 물체에 접근하는 동안 현장에서 데이터를 수집할 수 있도록, 내장된 VNIR 분광계(300–1200 nm)와 내시경 카메라를 탑재한 이중 손가락 평행 그립퍼를 설계한다.
• 그립퍼가 물체에 접근하고, 집고, 놓는 동안 스펙트럼 곡선(2048개의 이산 파장)과 고해상도 영상을 수집한다.
• 스펙트럼 데이터의 차원을 99.5% 감소시키기 위해 비음수 행렬 분해(NMF)를 적용하여 분류에 유의미한 스펙트럼 특징을 유지한다.
• 감소된 스펙트럼 데이터를 기반으로 32개 클래스의 재료를 분류하기 위해 비선형 라디얼 기저 함수(RBF) 서포트 벡터 머신(SVM)을 훈련시킨다.
• 각 새로운 스펙트럼 샘플이 들어올 때마다 클래스 확률을 갱신하여 시간이 지남에 따라 신뢰도를 높이는 순차적 추정을 위해 이산 베이즈 필터를 구현한다.
• 전경 및 내시경 영상 기반의 시각 모델(예: ResNet)과 성능을 비교하여 정확도, F1 점수 및 추론 속도를 평가한다.

실험 결과

연구 질문

• RQ1 통합된 분광법을 갖춘 그립퍼가 물체를 집기 전에 정확하고 접촉 없이 재질을 분류할 수 있는가?
• RQ2 시각 기반 방법과 비교했을 때 스펙트럼 기반 분류 방법은 외관이 유사한 재료를 얼마나 잘 분류하는가?
• RQ3 순차적인 스펙트럼 샘플을 이용한 순차적 추정 기법이 분류의 신뢰도와 정확도를 얼마나 향상시키는가?
• RQ4 접근 과정 중에 수집한 스펙트럼 및 시각 데이터만으로 32종의 실제 및 가짜 과일 재료를 신뢰성 있게 분류할 수 있는가?
• RQ5 스펙트럼 데이터를 사용할 때와 영상 기반 딥러닝을 사용할 때의 정확도, 추론 속도, 계산 비용 간의 상호 상충 관계는 어떠한가?

주요 결과

• RBF-SVM 모델은 스펙트럼 데이터를 사용하여 32종의 외관이 유사한 과일 종류를 96.41%의 테스트 정확도로 분류하였으며, 내시경 영상 기반으로 가장 우수한 성능을 보인 시각 기반 모델(내시경 영상 기반 정확도 67.00%)보다 뚜렷이 높았다.
• 스펙트럼 기반 방법은 가장 성능이 뛰어난 시각 기반 모델 대비 정확도를 29.4% 향상시켰으며, 외관이 모호한 재료에 대해 뛰어난 성능을 보였다.
• 이산 베이즈 필터를 활용한 순차적 추정 기법을 통해 분류의 신뢰도가 향상되었으며, 각 물체 유형에 대해 단 3개의 연속된 스펙트럼 샘플만으로도 100%의 정확도를 달성했다.
• RBF-SVM 모델의 추론 시간은 0.00019초(±0.00036)로 매우 짧아 실시간 로봇 제어에 적합했으며, 메모리 용량은 45.8 KB로 ResNet 모델(93.3 MB)에 비해 훨씬 작았다.
• NMF를 통해 스펙트럼 데이터의 입력 차원을 99.5% 감소시켜 효율적인 처리를 가능하게 하였으며, 32종의 재료 유형 간의 클래스 분리성은 유지되었다.
• 시스템은 모든 32개 클래스에서 뛰어난 성능을 보였으며, 개별 클래스의 정확도는 모두 88% 이상이었고, 오류 분류의 대부분은 약한 스펙트럼 신호를 가진 초기 접근 단계에서 발생했다.