[논문 리뷰] Global Search with Bernoulli Alternation Kernel for Task-oriented Grasping Informed by Simulation

Rika Antonova, Mia Kokić외 2명|arXiv (Cornell University)|2018. 10. 10.

Robot Manipulation and Learning참고 문헌 31인용 수 10

한 줄 요약

이 논문은 작업 중심의 그립핑을 위한 표본 효율적이고 강력한 온라인 학습을 가능하게 하기 위해 정보가 있는(시뮬레이션 기반) 및 정보가 없는 커널 간을 번갈아 사용하는 베르누이 교대 커널을 제안한다. 합성 데이터로 훈련된 딥 네ural 네트워크를 통해 그립핑 안정성과 작업 적합성을 예측함으로써, 시뮬레이션과 현실 간의 격차와 물리적 성질에 대한 높은 불확실성에도 불구하고, 스푸ーン과 머그컵과 같은 어려운 물체에 대해 5회 이내로 성공적인 그립핑을 달성한다.

ABSTRACT

We develop an approach that benefits from large simulated datasets and takes full advantage of the limited online data that is most relevant. We propose a variant of Bayesian optimization that alternates between using informed and uninformed kernels. With this Bernoulli Alternation Kernel we ensure that discrepancies between simulation and reality do not hinder adapting robot control policies online. The proposed approach is applied to a challenging real-world problem of task-oriented grasping with novel objects. Our further contribution is a neural network architecture and training pipeline that use experience from grasping objects in simulation to learn grasp stability scores. We learn task scores from a labeled dataset with a convolutional network, which is used to construct an informed kernel for our variant of Bayesian optimization. Experiments on an ABB Yumi robot with real sensor data demonstrate success of our approach, despite the challenge of fulfilling task requirements and high uncertainty over physical properties of objects.

연구 동기 및 목표

• 작업 중심의 그립핑에 있어 새로운 물체에 대해 높은 시뮬레이션-현실 불일치 문제를 해결하기 위해.
• 고정밀 시뮬레이터를 가정하지 않고도 시뮬레이션 기반 사전 지식을 통합함으로써 온라인 로봇 학습의 표본 효율성을 향상시키기 위해.
• 비연속적이고 노이즈가 많은 실제 세계 비용 함수에도 불구하고 탐색과 이용의 균형을 이루는 강력한 최적화 프레임워크를 개발하기 위해.
• 시각 정보와 합성 데이터로부터 학습된 작업 특화 점수를 사용하여 실시간으로 데이터 효율적인 그립 정책 적응을 가능하게 하기 위해.
• 물체의 물리적 성질에 대한 높은 불확실성이 존재하는 상황에서 실제 ABB Yumi 로봇에서 방법을 검증하기 위해.

제안 방법

• 베이지안 최적화에서 정보가 있는(시뮬레이션 기반) 커널과 정보가 없는(기본) 커널을 번갈아 사용하는 베르누이 교대 커널을 도입하여 시뮬레이션-현실 불일치에 대한 민감도를 감소시킨다.
• 대규모 합성 데이터에서 합성곱 신경망을 훈련시켜 원시 RGB-D 관측치와 물체 메시로부터 그립핑 안정성 및 작업 적합성 점수를 예측한다.
• 네트워크는 작업 중심의 그립핑 점수를 출력하며, 이를 바탕으로 베이지안 최적화를 위한 정보가 있는 커널을 구성하고, 유망한 그립핑 구성으로의 탐색을 이끈다.
• 이 방법은 포인트 클라우드에서 3D 메시를 생성하는 시각 파이프라인을 사용하며, 물체 표면에 그립핑 후보를 샘플링하고, 작업 특화 기준에 따라 낮은 점수의 점수를 걸러낸다.
• 교대 커널을 사용한 베이지안 최적화는 그립핑 파라미터(접근 방향, 방향, 오프셋)에 대한 온라인 탐색을 수행하며, 실제 세계 피드백을 이용해 정책을 정밀화한다.
• 획득 함수는 탐색과 이용의 균형을 이루며, 초기 시도는 여러 안정성 지표에서 상위 후보들을 기반으로 하여 나쁜 시작 지점 회피에 기여한다.

실험 결과

연구 질문

• RQ1 정보가 있는 커널과 정보가 없는 커널을 번갈아 사용하는 하이브리드 베이지안 최적화 프레임워크가 로봇 정책 학습에서 시뮬레이션-현실 불일치의 영향을 효과적으로 줄일 수 있는가?
• RQ2 고정밀 시뮬레이터가 필요 없이 어떻게 시뮬레이션 생성 데이터를 사용해 온라인 학습을 안내할 수 있는가?
• RQ3 합성 데이터로 훈련된 딥 네ural 네트워크가 새로운 실제 세계 물체에 대해 작업에 적합한 그립핑 구성(configuration)을 어느 정도 정확하게 예측할 수 있는가?
• RQ4 제안된 방법은 상위 10개의 오프라인 후보가 실패한 경우에도 10회의 실제 세계 시도 이내로 성공적인 작업 중심의 그립핑을 달성할 수 있는가?
• RQ5 물체의 물리적 성질에 대한 높은 불확실성과 제약이 있는 로봇 운동학적 조건 하에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 베르누이 교대 커널은 스푸ーン과 머그컵과 같은 어려운 실제 세계 물체에서 성공적인 작업 중심의 그립핑을 달성하였으며, 최초의 상위 10개 오프라인 후보가 실패한 상황에서도 최소 4회의 시도 내로 성공을 달성하였다.
• 머그컵 손건네기 작업에서, 메서드는 4번째 시도에 성공하였고, 그 그립핑은 상위 10개의 안정성 또는 작업 적합성 후보에 포함되지 않았다. 이는 정적 히وري스틱을 넘어서 효과적인 탐색을 수행했음을 보여준다.
• 팬 지지 작업에서, 메서드는 5번째 시도에 성공하였고, 상위 10개 오프라인 접근 방식은 슬립 또는 기울임으로 인해 실패하였다. 이는 동적이고 피드백 기반의 탐색이 유용함을 보여준다.
• 15회의 런에서 다수의 성공적인 그립핑을 달성하였으며, 이는 6회의 완전한 런(10회의 시도)과 9회의 부분 런(5회의 시도 후 조기 종료)을 포함한다. 이는 매우 높은 표본 효율성을 보여준다.
• 작은 물체에 대해 근접 충돌 제안으로 인한 계획 실패를 성공적으로 피했지만, 나이프, 펜, 드릴러 작업에서는 거리 제약으로 인해 이러한 실패가 발생하였다.
• 시뮬레이션 기반 커널을 사용함으로써, 오프라인 그립핑 후보에만 의존하거나 표준 베이지안 최적화를 사용하는 것보다 수렴 속도와 성공률이 크게 향상되었다.