[논문 리뷰] Quickly Inserting Pegs into Uncertain Holes using Multi-view Images and Deep Network Trained on Synthetic Data

Joshua C. Triyonoputro, Weiwei Wan외 1명|arXiv (Cornell University)|2019. 02. 25.

Robot Manipulation and Learning참고 문헌 45인용 수 14

한 줄 요약

이 논문은 다양한 질감과 색상의 표면에서 초기 위치 불확실성이 큰 상황에서도 빠르게 로봇 펜치를 구멍에 삽입할 수 있도록, 합성 데이터로 훈련된 딥 네ural 네트워크를 사용하는 학습 기반 시각 서보링 방법을 제안한다. 구멍의 4분면을 예측하고, 나선형 탐색과 적응 제어를 조합함으로써, 기존의 단순 나선형 탐색 대비 더 빠르고 더 견고한 펜치-구멍 장착을 달성한다. 이는 다양한 질감과 색상의 표면에서 성능 향상을 이룬다.

ABSTRACT

This paper uses robots to assemble pegs into holes on surfaces with different colors and textures. It especially targets at the problem of peg-in-hole assembly with initial position uncertainty. Two in-hand cameras and a force-torque sensor are used to account for the position uncertainty. A program sequence comprising learning-based visual servoing, spiral search, and impedance control is implemented to perform the peg-in-hole task with feedback from the above sensors. Contributions are mainly made in the learning-based visual servoing of the sequence, where a deep neural network is trained with various sets of synthetic data generated using the concept of domain randomization to predict where a hole is. In the experiments and analysis section, the network is analyzed and compared, and a real-world robotic system to insert pegs to holes using the proposed method is implemented. The results show that the implemented peg-in-hole assembly system can perform successful peg-in-hole insertions on surfaces with various colors and textures. It can generally speed up the entire peg-in-hole process.

연구 동기 및 목표

• 다양한 표면 질감과 색상에서 큰 초깃위치 불확실성이 존재하는 상황에서도 펜치-구멍 장착 문제를 해결하기 위해.
• 학습 기반 시각 서보링을 통합하여 기존의 나선형 탐색 방법의 소요 시간과 실패율을 줄이기 위해.
• 도메인 랜덤라이제이션을 활용한 합성 데이터를 사용하여 일반화 능력이 뛰어나고 견고한 시각 서보링 시스템을 개발하기 위해.
• 다양한 표면 배경에서의 실제 실험을 통해 방법의 유효성을 검증하기 위해.
• 다양한 합성 데이터 훈련 방식 간 성능를 비교하고 효율성 향상을 평가하기 위해.

제안 방법

• 다양한 표면 조건에서 다중 시점 RGB 이미지의 구멍 4분면을 정확히 예측할 수 있도록, 도메인 랜덤라이제이션을 활용해 생성한 합성 데이터로 훈련된 딥 네ural 네트워크를 사용한다.
• 합성 데이터는 다양한 배경 이미지에 랜덤으로 그립퍼 마스크를 붙여 다양한 질감과 색상을 시뮬레이션한다.
• 반복적 시각 서보링은 네트워크의 출력을 기반으로 실시간으로 로봇의 펜치를 예측된 구멍 4분면으로 이동시킨다.
• 시스템은 시각 서보링과 나선형 탐색을 조합하여 정밀한 정렬을 수행하고, 최종 삽입 단계에서는 적응 제어를 적용한다.
• 손안의 카메라와 힘-토크 센서가 탐색 및 삽입 단계에서 실시간 피드백을 제공한다.
• 다양한 색상과 질감을 가진 표면에서의 시뮬레이션 및 실제 로봇 실험을 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 합성 데이터로 훈련된 딥 네ural 네트워크가 다양한 표면 조건에서 다중 시점 이미지의 구멍 4분면을 정확히 예측할 수 있는가?
• RQ2 학습 기반 시각 서보링의 성능이 기존의 나선형 탐색 대비 속도와 성공률 측면에서 어떻게 다른가?
• RQ3 합성 데이터 분포의 선택(예: 이미지 기반 vs. 단색)이 실제 환경에서 네트워크의 일반화 능력과 견고성에 영향을 미치는가?
• RQ4 높은 초깃위치 불확실성 하에서, 이 방법이 삽입 소요 시간을 얼마나 줄이는가?
• RQ5 시스템의 실패 모드는 표면의 외관과 네트워크 훈련 데이터와 어떤 관련이 있는가?

주요 결과

• 합성 데이터의 'Image' 훈련 방식을 사용할 경우, 'White'와 'Brown' 표면에서는 100% 성공률를 기록했고, 'Pink'에서는 90% 성공률, 'Sky'에서는 30% 성공률를 기록했다.
• 'Plain' 훈련 데이터를 사용한 경우, 'White'와 'Brown' 표면에서는 100% 성공률를 기록했지만, 'Pink'에서는 40% 성공률, 'Sky'에서는 0% 성공률를 기록했다.
• 초깃위치 오차가 10 mm를 초과하는 경우, 제안된 방법으로 평균 삽입 시간을 기존의 나선형 탐색(90초 이상)에서 70초 이내로 감소시켰다.
• 초깃위치 오차가 작은 경우(4.0 mm), 나선형 탐색이 더 빠르게 작동했으며, 이는 제안된 방법의 장점이 주로 높은 불확실성 하에서 두드러진다는 것을 확인한다.
• 다양한 합성 데이터(예: 'Image')로 훈련된 네트워크는 단순한 데이터(예: 'Plain')보다 더 나은 일반화 능력을 보였으며, 예상치 못한 질감과 색상에 더 잘 적응했다.
• 실패 사례는 주로 'Sky' 표면에서 발생했고, 'Plain' 네트워크를 사용할 경우 'Pink' 표면에서도 실패가 빈번히 발생했다. 이는 저대비 또는 고반사성 배경에 민감한 것을 시사한다.