[논문 리뷰] Learning a High-Precision Robotic Assembly Task Using Pose Estimation from Simulated Depth Images.

Yuval Litvak, Armin Biess외 1명|arXiv (Cornell University)|2018. 09. 27.

Robot Manipulation and Learning인용 수 2

한 줄 요약

이 논문은 시뮬레이션된 깊이 이미지를 사용하여 고정밀 로봇 조립을 가능하게 하는 이단계적 딥러닝 기반 자세 추정 시스템을 제안한다. 복잡한 기어 유사 기계장치의 조립에서 2.16 mm의 변위 오차와 0.64°의 회전 오차를 달성하여 무작위로 배치된 부품에 대해 91%의 성공률을 기록했으며, 이는 실세계 적용 가능성을 지닌 시멘스 혁신 챌린지에 대한 첫 번째 완전한 솔루션을 의미한다.

ABSTRACT

Most of industrial robotic assembly tasks today require fixed initial conditions for successful assembly. These constraints induce high production costs and low adaptability to new tasks. In this work we aim towards flexible and adaptable robotic assembly by using 3D CAD models for all parts to be assembled. We focus on a generic assembly task - the Siemens Innovation Challenge - in which a robot needs to assemble a gear-like mechanism with high precision into an operating system. To obtain the millimeter-accuracy required for this task and industrial settings alike, we use a depth camera mounted near the robot end-effector. We present a high-accuracy two-stage pose estimation procedure based on deep convolutional neural networks, which includes detection, pose estimation, refinement, and handling of near- and full symmetries of parts. The networks are trained on simulated depth images with means to ensure successful transfer to the real robot. We obtain an average pose estimation error of 2.16 millimeters and 0.64 degree leading to 91% success rate for robotic assembly of randomly distributed parts. To the best of our knowledge, this is the first time that the Siemens Innovation Challenge is fully addressed, with all the parts assembled with high success rates.

연구 동기 및 목표

• 고정된 초기 조건 없이도 민첩하고 적응 가능한 로봇 조립을 가능하게 하여 생산 비용을 절감하고 작업의 다양성을 증가시키기.
• 3D CAD 모델과 깊이 센서만을 사용하여 복잡한 기어 유사 기계장치의 고정밀 조립 과제를 해결하기.
• 밀리미터 수준의 정확도로 근접 대칭 및 완전 대칭을 가진 부품을 처리할 수 있는 자세 추정 시스템 개발하기.
• 시뮬레이션에서 실제 로봇에 이르는 성공적인 도메인 랜덤라이제이션 전이 보장하기.

제안 방법

• 이중 단계의 딥 컨volution 신경망 파이프라인을 사용: 먼저 깊이 이미지에서 부품을 검출하고, 그 다음 6자유도 자세 추정치를 정밀 조정한다.
• 실제 환경 조건을 시뮬레이션하기 위해 랜덤라이즈된 조명, 텍스처, 노이즈를 가진 3D CAD 모델에서 생성된 시뮬레이션된 깊이 이미지 전용으로 학습한다.
• 초기 검출 이후 정확도를 향상시키기 위해 가역적(다양한) 정밀 조정 모듈을 적용하여 자세를 보정한다.
• 대칭성 인식 손실 함수와 데이터 증강 기법을 활용하여 대칭 및 근접 대칭 부품에 대한 강인성을 향상시킨다.
• 실제 로봇에서의 성능 일반화를 확보하기 위해 도메인 랜덤라이제이션 및 시뮬레이션에서 실제 환경으로의 전이 전략을 통합한다.
• 조립 중 실시간으로 고정밀 자세 피드백을 제공하기 위해 로봇 종말부에 깊이 카메라를 장착한다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 깊이 이미지에서 학습된 딥러닝 기반 자세 추정 시스템이 산업용 로봇 조립 작업에 충분한 정확도를 달성할 수 있는가?
• RQ2 기계 부품의 근접 대칭성 및 완전 대칭성을 고정밀 조립을 위한 6자유도 자세 추정에서 효과적으로 다룰 수 있는가?
• RQ3 3D CAD 모델과 시뮬레이션 학습 데이터만을 사용할 경우 실세계 로봇 조립에서 달성할 수 있는 정확도와 성공률 수준은 어느 정도인가?
• RQ4 도메인 랜덤라이제이션은 실제 훈련 없이도 로봇 조립 분야에서 성공적인 시뮬레이션에서 실제 환경으로의 전이를 어느 정도 가능하게 하는가?

주요 결과

• 제안된 방법은 자세 추정에서 평균 2.16 밀리미터의 변위 오차와 평균 0.64 도의 회전 오차를 달성한다.
• 시스템은 시멘스 혁신 챌린지 과제에서 무작위로 분포된 부품의 조립에 대해 91%의 성공률을 기록한다.
• 자세 추정 파이프라인은 기어 유사 기계장치 부품의 근접 대칭성과 완전 대칭성을 성공적으로 처리한다.
• 도메인 랜덤라이제이션을 적용한 시뮬레이션된 깊이 이미지의 사용은 실제 훈련 없이도 효과적인 시뮬레이션에서 실제 환경으로의 전이를 가능하게 한다.
• 이 연구는 3D CAD 모델과 시뮬레이션 학습 데이터만을 사용하여 고정밀 로봇 조립을 수행하는 시멘스 혁신 챌린지에 대한 첫 번째 보고된 완전한 솔루션이다.
• 이 방법은 고정된 초기 조건 없이도 실세계 구현에서 강인성과 신뢰성을 입증하며, 산업 수준의 정밀도를 달성한다.