[논문 리뷰] Multi-Fingered Active Grasp Learning

Qingkai Lu, Mark Van der Merwe외 1명|arXiv (Cornell University)|2020. 06. 06.

Robot Manipulation and Learning참고 문헌 44인용 수 5

한 줄 요약

이 논문은 다손지 로봇 그립핑을 위한 새로운 능동적 딥러닝 프레임워크를 제안하며, 다손지 그립핑 구성공간 탐색과 분류기 신뢰도를 다중 보상 밴딧 공식을 통해 공동 최적화한다. 학습된 신경망 우도 함수를 통합한 확률적 그립핑 계획을 능동 학습 루프에 통합함으로써, 더 적은 학습 샘플로도 수동 지도학습과 유사한 그립핑 성공률을 달성하면서도 다양한 물체 형태와 질감에 걸쳐 더 다양한 그립핑을 생성한다.

ABSTRACT

Learning-based approaches to grasp planning are preferred over analytical methods due to their ability to better generalize to new, partially observed objects. However, data collection remains one of the biggest bottlenecks for grasp learning methods, particularly for multi-fingered hands. The relatively high dimensional configuration space of the hands coupled with the diversity of objects common in daily life requires a significant number of samples to produce robust and confident grasp success classifiers. In this paper, we present the first active deep learning approach to grasping that searches over the grasp configuration space and classifier confidence in a unified manner. We base our approach on recent success in planning multi-fingered grasps as probabilistic inference with a learned neural network likelihood function. We embed this within a multi-armed bandit formulation of sample selection. We show that our active grasp learning approach uses fewer training samples to produce grasp success rates comparable with the passive supervised learning method trained with grasping data generated by an analytical planner. We additionally show that grasps generated by the active learner have greater qualitative and quantitative diversity in shape.

연구 동기 및 목표

• 다손지 로봇 그립핑에서 고차원의 구성공간과 물체 변동성으로 인해 발생하는 높은 데이터 수집 장벽을 해결하기 위해.
• 분석적 플래너에 의존해 데이터 수집을 수행하는 수동 지도학습의 한계를 극복하기 위해, 편향이 많고 다양성이 낮은 그립핑을 생성하기 때문이다.
• 정보성 높은 그립핑 구성공간을 동적으로 선택하여 더 적은 샘플로도 일반화 능력을 향상시키는 능동 학습 프레임워크를 개발하기 위해.
• 상호작용 기반 가설 검증을 통해 더 넓은 범위의 실현 가능한 구성공간과 물체 유형을 커버할 수 있도록 그립 모델을 가능하게 하기 위해.
• 능동 학습이 훨씬 적은 학습 데이터로도 수동 학습 성능을 동등하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 세 가지의 다른 탐색 전략(예: 높은 불확실성, 높은 신뢰도, 다양성)을 암호로 간주하여 능동적 그립핑 학습을 다중 보상 밴딧 문제로 수식화한다.
• 학습된 신경망 우도 함수를 통한 확률적 그립핑 계획을 사용하여 능동 모델에서 고품질의 그립핑 가설을 생성한다.
• 그립핑 성공 가능성의 우도를 추정하기 위해 학습된 신경망을 통합하여 그립핑 구성공간에 대한 엔드 투 엔드 미분 가능한 추론을 가능하게 한다.
• 밴딧 기반 선택 정책을 사용하여 다음으로 레이블을 붙일 가장 정보성 높은 그립핑 구성공간을 선택하며, 탐색과 이용의 균형을 이룬다.
• 실제 로봇 상호작용을 오라클로 사용: 로봇이 그립핑을 수행하고 인간의 입력 없이 자동으로 성공/실패를 레이블링한다.
• 다변량 정규분포 혼합 모델(MDN) 사전분포와 벽체 기반의 그립핑 표현을 사용하여 그립핑 분포의 다양성을 모델링한다.

실험 결과

연구 질문

• RQ1 능동 학습은 그립핑 성공률을 유지하거나 향상시키면서도 요구되는 학습 샘플 수를 줄일 수 있는가?
• RQ2 동일하거나 더 많은 데이터로도 능동 학습은 수동 지도학습보다 더 다양한 그립핑 구성공간을 생성하는가?
• RQ3 능동 학습 프레임워크는 다양한 물체 기하학적 형태에 걸쳐 고차원의 그립핑 구성공간을 더 잘 커버할 수 있는가?
• RQ4 분석적 플래너에서 수집된 데이터로 훈련된 수동 지도학습 모델과 비교해 능동 학습 모델의 성능은 어떠한가?
• RQ5 능동 학습은 새로운 부분 관찰된 물체에 대해 얼마나 일반화 능력을 향상시키는가?

주요 결과

• 능동 그립핑 학습 방법은 8종의 실제 테스트 물체에서 50%의 그립핑 성공률를 달성했으며, 이는 훨씬 더 많은 데이터로 훈련된 수동 지도학습 모델의 52.5% 성공률와 유사하다.
• 측면 그립핑의 경우, 능동 학습자가 93.3%의 성공률를 기록하여 수동 모델의 78.6%를 상회했으며, 도전적인 그립핑 유형에서 뛰어난 성능을 보였다.
• 능동 학습자는 15개의 측면 그립핑과 25개의 상단 그립핑을 생성했으며, 이는 수동 모델이 14개의 측면 그립핑과 26개의 상단 그립핑을 생성한 것과 비교해 더 높은 다양성을 보였다.
• 차별 엔트로피 분석 결과, 능동 모델은 더 높은 엔트로피를 보였다(구성: -16.3, 자세: -3.7, 관절: -11.8), 이는 수동 대규모 데이터 모델(-18.6, -4.2, -13.5)보다 더 높은 그립핑 다양성을 의미한다.
• 능동 학습 접근법은 성능을 유지하면서도 데이터 요구량을 줄였으며, 이는 능동 샘플링이 수동 데이터 수집보다 그립핑 구성공간을 더 효과적으로 탐색함을 증명한다.
• 모든 방법에서 상단 그립핑 성능은 낮게 유지되었다(능동: 24%, 수동 대규모: 34.5%), 이는 이러한 구성에서 피드백 제어 개선이 필요함을 시사한다.