[논문 리뷰] DcnnGrasp: Towards Accurate Grasp Pattern Recognition with Adaptive Regularizer Learning

Xiaoqin Zhang, Ziwei Huang외 3명|arXiv (Cornell University)|2022. 05. 11.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 새로운 병합 교차 엔트로피 손실 함수인 적응형 정규화를 갖춘 병합 교차 엔트로피(JCEAR)를 사용하여 물체 카테고리 분류와 抓握 패턴 인식을 동시에 학습하는 이중 브랜치 컨볼루션 신경망(DcnnGrasp)을 제안한다. 카테고리 정보를 보조 작업으로 활용하고 공유 학습을 최적화함으로써, RGB-D Object 데이터셋에서 미리 보지 않은 물체에 대해 두 번째로 우수한 방법보다 15% 높은 전반적 정확도를 달성하여 강력한 일반화 능력과 부족한 抓握 레이블에 대한 강건성을 입증한다.

ABSTRACT

The task of grasp pattern recognition aims to derive the applicable grasp types of an object according to the visual information. Current state-of-the-art methods ignore category information of objects which is crucial for grasp pattern recognition. This paper presents a novel dual-branch convolutional neural network (DcnnGrasp) to achieve joint learning of object category classification and grasp pattern recognition. DcnnGrasp takes object category classification as an auxiliary task to improve the effectiveness of grasp pattern recognition. Meanwhile, a new loss function called joint cross-entropy with an adaptive regularizer is derived through maximizing a posterior, which significantly improves the model performance. Besides, based on the new loss function, a training strategy is proposed to maximize the collaborative learning of the two tasks. The experiment was performed on five household objects datasets including the RGB-D Object dataset, Hit-GPRec dataset, Amsterdam library of object images (ALOI), Columbia University Image Library (COIL-100), and MeganePro dataset 1. The experimental results demonstrated that the proposed method can achieve competitive performance on grasp pattern recognition with several state-of-the-art methods. Specifically, our method even outperformed the second-best one by nearly 15% in terms of global accuracy for the case of testing a novel object on the RGB-D Object dataset.

연구 동기 및 목표

• 미리 보지 않은 물체에서 抓握 패턴 인식의 과제를 해결하기 위해, 특히 抓握 레이블이 부족하거나 모호할 경우에 대비한다.
• 抓握 인식에 물체 카테고리 정보를 보조 신호로 통합하여 모델의 일반화 능력을 향상시킨다.
• 카테고리 분류와 抓握 패턴 인식 간의 협동 학습을 극대화하는 학습 전략을 개발한다.
• 실제 응용에서 흔히 발생하는 부족하거나 불완전한 抓握 레이블에 대한 강건성을 향상시킨다.
• 인간이 抓握 예측에 자연스럽게 활용하는 카테고리 수준의 사전 지식를 忽시하는 기존 방법의 한계를 극복한다.

제안 방법

• 한 브랜치는 물체 카테고리를 분류하고 다른 브랜치는 抓握 유형을 예측하며, 초기 컨볼루션 특징을 공유하는 이중 브랜치 컨볼루션 신경망 아키텍처를 사용한다.
• 모델의 사후 확률을 최대화함으로써 유도된 새로운 손실 함수인 병합 교차 엔트로피와 적응형 정규화(JCEAR)를 도입하여 두 작업의 공동 최적화를 촉진한다.
• 적응형 정규화기는 모델의 불확실성에 기반해 카테고리 및 抓握 작업 간의 손실 가중치를 동적으로 조정하여 학습 안정성과 성능을 향상시킨다.
• 두 작업 간의 협동 학습을 극대화하기 위해 전용 학습 전략을 설계하여, 카테고리 지식이 抓握 인식을 향상시킬 수 있도록 보장한다.
• RGB-D Object 및 Hit-GPRec 데이터셋에서 유도된 새로운 이중 레이블 데이터셋 두 개를 사용하여 학습을 수행하며, 카테고리 및 抓握 레이블이 모두 주석이 달려 있다.

실험 결과

연구 질문

• RQ1 물체 카테고리 정보를 보조 작업으로 통합하면, 특히 미리 보지 않은 물체에서 抓握 패턴 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 적응형 정규화를 갖춘 공동 손실 함수는 카테고리 분류와 抓握 인식 간의 협동 학습을 어떻게 향상시키는가?
• RQ3 DcnnGrasp는 훈련 중에 볼 수 없었던 새로운 물체에 대해 어느 정도 일반화할 수 있는가, 특히 크기나 구조적 혼동과 같은 어려운 조건에서?
• RQ4 훈련 데이터에서 抓握 레이블이 누락되거나 희박할 경우 모델의 성능은 얼마나 강건한가?
• RQ5 제안된 JCEAR 손실 함수와 학습 전략은 레이블이 완전한 경우와 부분적으로만 레이블이 있는 경우 모두 기존 최고 수준의 방법을 능가할 수 있는가?

주요 결과

• RGB-D Object 데이터셋에서 DcnnGrasp는 미리 보지 않은 물체 테스트에서 전반적 정확도가 94% 이상을 달성하여, 두 번째로 우수한 방법보다 약 15% 높은 성능을 보였다.
• Hit-GPRec 데이터셋에서는 모든 평가 지표에서 99% 이상의 성능을 유지하여, 그림자와 같은 데이터셋 고유의 노이즈에 대해 매우 강건함을 입증했다.
• 카테고리당 한 개의 레이블된 抓握 예제만 존재하는 조건에서도, DcnnGrasp는 RGB-D Object 데이터셋에서 90%, Hit-GPRec 데이터셋에서 95%의 전반적 정확도를 달성하여, 저샷 조건에서도 강력한 일반화 능력을 보였다.
• 제거 분석을 통해 JCEAR 기반 학습 전략이 성능 향상에 크게 기여하며, 특히 미리 보지 않은 물체와 레이블 부족 상황에서의 성능 향상이 두드러짐을 확인했다.
• DcnnGrasp는 부족한 抓握 레이블에 대해 뛰어난 강건성을 보였다: CnnGrasp의 성능은 다양한 레이블 비율에서 10–15% 감소한 반면, DcnnGrasp의 성능 변화는 2% 미만이었다.