[논문 리뷰] Grasp-type Recognition Leveraging Object Affordance

Naoki Wake, Kazuhiro Sasabuchi외 1명|arXiv (Cornell University)|2020. 08. 26.

Robot Manipulation and Learning참고 문헌 18인용 수 8

한 줄 요약

이 논문은 객체 이름과 같은 언어적 입력에서 유래한 객체별로 특화된 그립 약속을 컨볼루션 신경망(CNN)과 융합하여 단일 RGB 이미지에서 그립 유형을 인식하기 위한 하이브리드 접근법을 제안한다. 각 객체에 대한 일반적인 그립 유형에 대한 사전 지식을 활용함으로써, 순수한 CNN 또는 약속 전용 기반 모델보다 더 높은 정확도를 달성하며, 로봇 교육 시나리오에서 언어 기반 약속 모델링의 가치를 입증한다.

ABSTRACT

A key challenge in robot teaching is grasp-type recognition with a single RGB image and a target object name. Here, we propose a simple yet effective pipeline to enhance learning-based recognition by leveraging a prior distribution of grasp types for each object. In the pipeline, a convolutional neural network (CNN) recognizes the grasp type from an RGB image. The recognition result is further corrected using the prior distribution (i.e., affordance), which is associated with the target object name. Experimental results showed that the proposed method outperforms both a CNN-only and an affordance-only method. The results highlight the effectiveness of linguistically-driven object affordance for enhancing grasp-type recognition in robot teaching.

연구 동기 및 목표

• 단일 RGB 이미지와 객체 이름을 사용한 로봇 교육에서의 그립 유형 인식 과제를 해결하기 위해.
• 순수한 딥러닝 또는 사전 지식만을 사용하는 것보다 정확도를 향상시키기 위해.
• 언어적 입력(객체 이름)과 시각적 특징을 융합하여 그립을 위한 객체 약속을 모델링하기 위해.
• 실세계 로봇 교육 응용 프로그램을 위한 실용적인 파ip라인을 개발하기 위해.

제안 방법

• CNN이 RGB 이미지를 처리하여 초기 그립 유형을 예측한다.
• 각 객체에 대한 일반적인 그립 유형에 대한 사전 지식을 바탕으로 객체별 그립 약속을 사전에 계산한다.
• 목표 객체 이름과 관련된 그립 유형의 학습된 사전 분포를 사용하여 CNN의 예측을 보정한다.
• 시각적 특징과 언어 기반 약속 사전 지식의 융합이 최종 그립 유형 분류 성능을 향상시킨다.
• 이 방법은 RGB 이미지, 해당 객체 이름 및 그립 애너테이션을 포함한 데이터셋에서 훈련 및 평가된다.
• 유능한 성능을 입증하기 위해 CNN 전용 및 약속 전용 기준 모델과의 비교 평가가 수행된다.

실험 결과

연구 질문

• RQ1 딥러닝과 객체별 그립 약속을 융합함으로써 그립 유형 인식 정확도를 향상시킬 수 있는가?
• RQ2 언어적 입력(객체 이름)이 그립 유형 예측을 보정하는 데 얼마나 효과적인가?
• RQ3 일반적인 그립 유형에 대한 사전 지식을 통합함으로써, 순수하게 시각적 특징에 의존하는 것보다 오류를 줄일 수 있는가?
• RQ4 실세계 로봇 교육 시나리오에서 약속 사전 지식을 사용할 경우 성능 향상은 어느 정도인가?

주요 결과

• 제안된 방법은 그립 유형 인식 정확도에서 CNN 전용 및 약속 전용 기준 모델을 모두 능가한다.
• 객체별 약속의 통합은 희귀하거나 모호한 그립 유형에 대해 특히 성능 향상을 크게 이룬다.
• 언어 기반 약속 모델링은 객체-손 상호작용에 대한 사전 지식을 활용함으로써 예측 오차를 효과적으로 줄인다.
• 최소한의 입력(_RGB 이미지 + 객체 이름_)으로도 실세계 로봇 교육 환경에서 강인하고 실용적인 성능을 보여준다.