[논문 리뷰] Planning Multi-Fingered Grasps as Probabilistic Inference in a Learned Deep Network

Qingkai Lu, Kautilya Chenna외 2명|arXiv (Cornell University)|2018. 04. 10.

Robot Manipulation and Learning참고 문헌 18인용 수 18

한 줄 요약

이 논문은 시각적 입력과 抓握 구성 정보로부터 抓握 성공 여부를 예측하는 딥 컨volution 뉴럴 네트워크(DCNN) 내에서 확률적 추론으로서 다손가락抓握 계획을 공식화함으로써, 새로운 방법을 제안한다. 이 방법은 네트워크 내부에서 기울기 상승 최적화를 수행하여 고품질의 抓握 구성 정보를 직접 추론하며, 최소한의 초기화로도 미리 보지 않은 물체에서 84%의 성공률을 달성하여, 샘플링 기반 방법을 능가하면서 데이터 효율적이고 실시간 구현이 가능한 성능을 보인다.

ABSTRACT

We propose a novel approach to multi-fingered grasp planning leveraging learned deep neural network models. We train a convolutional neural network to predict grasp success as a function of both visual information of an object and grasp configuration. We can then formulate grasp planning as inferring the grasp configuration which maximizes the probability of grasp success. We efficiently perform this inference using a gradient-ascent optimization inside the neural network using the backpropagation algorithm. Our work is the first to directly plan high quality multifingered grasps in configuration space using a deep neural network without the need of an external planner. We validate our inference method performing both multifinger and two-finger grasps on real robots. Our experimental results show that our planning method outperforms existing planning methods for neural networks; while offering several other benefits including being data-efficient in learning and fast enough to be deployed in real robotic applications.

연구 동기 및 목표

• 외부 계획기 의존 없이 딥 네트워크를 활용해 고품질의 다손가락抓握 계획을 수행하는 데 도전한다.
• 부정적 抓握 예제를 활용하는 분류 기반 네트워크를 통해 抓握 학습의 데이터 효율성을 향상시킨다.
• 학습된 딥 네트워크 내에서 직접 추론을 수행함으로써 실시간 구현이 가능한, 배포 가능한 抓握 계획을 가능하게 한다.
• 구성 공간을 최적화하여 단일 물체에 대해 다수의 고품질 抓握을 계획할 수 있도록 한다.
• 복잡한 로봇 조작 작업을 위한 종단간 학습과 최적화를 통합된 딥 모델에서 효과적으로 수행할 수 있음을 입증한다.

제안 방법

• 시각적 입력(이미지 패치)과 抓握 구성 정보(예: 관절 각도, 손목 자세)의 함수로 抓握 성공 확률을 예측하도록 컨volution 뉴럴 네트워크(CNN)를 훈련한다.
• 抓握 계획은 확률적 추론으로 공식화되며, P(Y=1|z,θ)를 최대화하는 것으로 정의되며, 여기서 z는 이미지 패치이고 θ는 抓握 구성이다.
• 학습된 네트워크 내에서 역전파를 사용하여 기울기 상승 최적화를 수행하며, 관절 각도가 물리적 한계 내에 있도록 제약 조건을 적용한다.
• 다양한 후보 구성 정보(예: 다른 너비, 방향, 위치)에서 추론을 초기화하고, 예측 성공 확률이 가장 높은 것을 선택한다.
• 최종 抓握 자세는 최적화된 2차원 사각형에서, 이전 연구와 일관된 방법(예: Lenz 등, 2015)을 사용하여 3차원 抓握으로 변환된다.
• 두 가지 새로운 CNN 아키텍처가 제안된다: 다채널 네트워크와 패치 기반 네트워크로, 둘 다 효과적으로 抓握 구성 정보를 인코딩하도록 설계되었다.

실험 결과

연구 질문

• RQ1 외부 계획기가 없이도, 딥 네트워크 내에서 확률적 추론으로서의 抓握 계획이 효과적으로 수행될 수 있는가?
• RQ2 학습된 네트워크 내에서 기울기 상승을 통해 구성 공간을 최적화하면, 샘플링 기반 방법보다 더 높은 抓握 성공률을 달성할 수 있는가?
• RQ3 분류 기반 딥 네트워크가 회귀 기반 접근 방식에 비해 데이터 효율성을 향상시킬 수 있는가?
• RQ4 다양한 형태와 질감을 가진 미리 보지 않은 물체에서 제안된 방법의 성능은 어떠한가?
• RQ5 이 방법은 단일 물체에 대해 다수의 고품질 抓握을 생성하여, 작업에 맞는 선택을 가능하게 하는가?

주요 결과

• 제안된 방법은 훈련 데이터에 포함되지 않은 10종의 새로운 물체에서 84%의 성공률을 달성하여, 기준 샘플링 방법을 능가했다.
• 이 방법은 물체당 단지 네 개의 초기 抓握 구성 정보만으로도 높은 성공률을 달성했으며, 이는 이전의 샘플링 기반 접근 방식에서 일반적으로 사용하는 표본 수보다 훨씬 적은 수였다.
• 학습된 CNN은 성공적인 抓握에 대해 최소 96%의 성공 확률을 예측했지만, 실제 성공률은 84%였으며, 이는 예측에 대해 과신하는 경향이 있음을 시사한다.
• 분류 기반 모델은 부정적 抓握 예제를 효과적으로 활용할 수 있어, 회귀 기반 모델이 이를 효과적으로 활용하지 못하는 것과 대비된다.
• 이 방법은 실제 로봇에서 고품질의 抓握을 성공적으로 계획하여 실시간 실행 가능성과 물체의 다양성에 대한 강건성을 입증했다.
• 기초 분류기의 개선은 즉각적으로 계획기 성능 향상으로 이어지며, 더 나은 抓握 예측이 바로 성능 향상으로 이어진다.