[논문 리뷰] Learning Based Industrial Bin-picking Trained with Approximate Physics Simulator

Ryo Matsumura, Kensuke Harada외 2명|arXiv (Cornell University)|2018. 05. 23.

Robot Manipulation and Learning참고 문헌 7인용 수 3

한 줄 요약

이 논문은 합성 데이터를 생성하기 위해 근사 물리 시뮬레이터를 사용하는 컨volutional 신경망(CNN)을 활용한 학습 기반 산업용 바인픽킹 시스템을 제안한다. 이는 데이터 수집을 가속화한다. 충돌 검출에서 형태 근사치를 사용함으로써 시뮬레이션 효율성을 확보하나, 예측 정확도를 유지하기 위해 정확한 3D 모델을 사용해 깊이 이미지 입력을 생성함으로써 근사치의 영향을 효과적으로 완화한다.

ABSTRACT

In this research, we tackle the problem of picking an object from randomly stacked pile. Since complex physical phenomena of contact among objects and fingers makes it difficult to perform the bin-picking with high success rate, we consider introducing a learning based approach. For the purpose of collecting enough number of training data within a reasonable period of time, we introduce a physics simulator where approximation is used for collision checking. In this paper, we first formulate the learning based robotic bin-picking by using CNN (Convolutional Neural Network). We also obtain the optimum grasping posture of parallel jaw gripper by using CNN. Finally, we show that the effect of approximation introduced in collision checking is relaxed if we use exact 3D model to generate the depth image of the pile as an input to CNN.

연구 동기 및 목표

• 학습 기반 로봇 바인픽킹을 위한 충분한 훈련 데이터 수집을 타당한 시간 내에 수행하는 데 도전한다.
• 불규칙한 형태를 가진 무작위로 쌓인 물체 무리에서 복잡한 물리적 상호작용을 시뮬레이션하는 데 발생하는 계산적 병목 현상을 해결한다.
• 물리 시뮬레이션에서 형태 근사치가 CNN 기반 성공 예측 정확도에 악영향을 미치는 것을 최소화한다.
• 충돌 검사에서 간소화된 물체 형태를 사용하더라도 높은 정확도의 그립 정책 학습이 가능하도록 하는 방법을 개발한다.
• 정확한 3D 모델을 사용해 깊이 이미지를 생성함으로써 시뮬레이션에서의 형태 근사치로 인한 성능 저하를 완화할 수 있음을 입증한다.

제안 방법

• 충돌 검사를 위해 형태 근사치를 사용하는 물리 시뮬레이터를 활용해 데이터 생성 중 시뮬레이션 시간을 단축시킨다.
• 원본 고정밀 3D 모델을 사용해 물체 무리의 합성 깊이 이미지를 생성함으로써 네트워크 입력의 기하학적 정밀도를 유지한다.
• 깊이 이미지와 후보 그립 포즈를 입력으로 받아 그립 성공 확률을 예측하는 CNN을 훈련시킨다.
• CNN 출력에서 가장 높은 예측 성공률을 가진 포즈를 선택하여 그립 포즈를 최적화한다.
• 충돌 검사를 위해 볼록 분해된 물체 부품의 직사각형 근사치를 사용하지만, 깊이 이미지 렌더링에는 원래 기하학적 구조를 유지한다.
• 형태 근사치로 인해 시뮬레이션에서 잘못된 양성 결과가 발생하는 경우에 대해 예측 오차를 분석함으로써 훈련된 CNN의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 물리 시뮬레이션에서의 형태 근사치가 CNN 기반 바인픽킹 정책의 성능에 얼마나 큰 영향을 미치는가?
• RQ2 깊이 이미지 생성에 정확한 3D 모델을 사용하면, 충돌 검출에서 발생하는 근사치로 인한 오차를 보완할 수 있는가?
• RQ3 훈련 데이터에서 허용 가능한 최대 근사치 비율은 얼마이며, 여전히 실제 세계 픽킹 작업에 대한 신뢰성 있는 일반화를 가능하게 하는가?
• RQ4 CNN은 시뮬레이션 근사치로 인해 발생하는 현실적이지 않은 그립과 현실적인 그립을 어떻게 구분하는가?
• RQ5 근사 물리 시뮬레이션을 사용해 훈련한 학습 기반 접근 방식이 실제 세계 바인픽킹에서 높은 성공률을 유지할 수 있는가?

주요 결과

• 20개의 검증 테스트 케이스에서 검증된 결과, CNN 모델은 높은 성공률로 최적의 그립 포즈를 성공적으로 식별했다.
• 물리 시뮬레이션에서 형태 근사치를 사용하더라도, 정확한 3D 모델을 사용해 깊이 이미지 입력을 제공함으로써 CNN은 신뢰할 수 있는 예측 정확도를 유지한다.
• 200개의 시뮬레이션 케이스 중 15개에서 형태 근사치로 인한 잘못된 양성 결과로 인해 로봇이 물체를 성공적으로 픽업했으나, 대부분의 경우 CNN은 낮은 성공률(0.5 이하)을 예측했다.
• 훈련 시 근사된 물체 사용 비율을 30% 이하로 유지할 경우, CNN은 픽업 성공 또는 실패를 높은 정확도로 정확히 예측했다.
• 빠른 근사 시뮬레이션을 통해 효과적인 데이터 수집이 가능하며, 정확한 깊이 이미지 입력을 통해 일반화 능력을 유지할 수 있다.
• 이 방법은 시뮬레이션 속도와 예측 신뢰성 사이의 균형을 이루며, 산업용 바인픽킹 응용 분야에서 대규모 훈련을 가능하게 한다.