[논문 리뷰] Object affordance as a guide for grasp-type recognition.

Naoki Wake, Daichi Saito외 3명|arXiv (Cornell University)|2021. 02. 27.

Robot Manipulation and Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 물체의 기능 가능성을, 각 물체에 대한 일반적인 잡기 유형에 대한 사전 지식으로 삼아, 컨volutional 신경망(CNN) 기반의 잡기 유형 인식을 안내하는 데 사용한다. 비현실적인 또는 시각적 혼란이 있는 상황에서, 기능 가능성에 의해 비현실적인 후보를 걸러내고 가능성이 높은 후보를 강조함으로써, 특히 높은 잡기 이질성 상황과 시각적 모호성 상황에서 정확도가 향상됨을 보여준다.

ABSTRACT

Recognizing human grasping strategies is an important factor in robot teaching as these strategies contain the implicit knowledge necessary to perform a series of manipulations smoothly. This study analyzed the effects of object affordance-a prior distribution of grasp types for each object-on convolutional neural network (CNN)-based grasp-type recognition. To this end, we created datasets of first-person grasping-hand images labeled with grasp types and object names, and tested a recognition pipeline leveraging object affordance. We evaluated scenarios with real and illusory objects to be grasped, to consider a teaching condition in mixed reality where the lack of visual object information can make the CNN recognition challenging. The results show that object affordance guided the CNN in both scenarios, increasing the accuracy by 1) excluding unlikely grasp types from the candidates and 2) likely grasp types. In addition, the enhancing effect was more pronounced with high degrees of grasp-type heterogeneity. These results indicate the effectiveness of object affordance for guiding grasp-type recognition in robot teaching applications.

연구 동기 및 목표

• 물체의 기능 가능성을 사전 지식으로 활용하여 로봇 교육에서의 잡기 유형 인식 성능을 향상시키는 것.
• 혼합 현실 환경과 같은 시각적 물체 정보가 부족하거나 모호한 상황에서의 잡기 인식 과제를 해결하는 것.
• 실물 및 환상적 물체 상황에서 CNN 기반의 잡기 인식 성능이 기능 가능성에 의해 향상되는지 평가하는 것.
• 잡기 유형의 이질성 수준이 기능 가능성 기반 인식의 효과성에 미치는 영향을 조사하는 것.

제안 방법

• 잡기 동작의 첫인자 시각 이미지 데이터셋을 수집하고, 잡기 유형과 물체 이름을 레이블링함.
• 수집된 이미지 데이터를 사용해 CNN을 학습시켜 잡기 유형 인식을 수행함.
• 각 물체의 알려진 잡기 가능성에 기반해 CNN 출력 후보를 사전에 걸러내는 방식으로 기능 가능성을 통합함.
• 혼합 현실 교육 조건을 시뮬레이션하기 위해 실제 물체와 시각적 단서가 없는 환상적 물체를 대상으로 시스템을 평가함.
• 기능 가능성을 활용해 부적절한 잡기 유형을 제거하고 추론 과정에서 가능성이 높은 유형을 우선시함.
• 잡기 유형 이질성 수준이 다양한 조건에서 기능 가능성 안내 유무에 따른 정확도를 비교함.

실험 결과

연구 질문

• RQ1 물체의 기능 가능성은 CNN 기반 시스템에서 잡기 유형 인식 정확도에 어떤 영향을 미치는가?
• RQ2 시각적 물체 정보가 없거나 모호한 상황에서 물체의 기능 가능성은 인식 성능을 향상시킬 수 있는가?
• RQ3 기능 가능성 안내의 효과성은 물체당 잡기 유형의 이질성 수준에 따라 달라지는가?
• RQ4 기능 가능성은 인식 과정에서 가능한 잡기 유형의 탐색 공간을 어느 정도 줄이는가?

주요 결과

• 기능 가능성에 의해 후보 집합에서 불가능한 잡기 유형이 제거되어 잡기 유형 인식 정확도가 크게 향상됨.
• 기능 가능성 통합으로 가능성이 높은 유형을 강조함으로써 복잡한 상황에서 인식 성능 향상이 이루어짐.
• 잡기 유형 이질성이 높은 물체에서 성능 향상이 더 두드러져, 복잡한 인식 작업에서 더 큰 이점이 있음을 시사함.
• 환상적 물체 상황과 같이 시각적 물체 정보가 없는 경우에도 이 방법이 효과를 유지하여 혼합 현실 교육 환경에서의 강건성을 입증함.