[논문 리뷰] Neuromorphic Vision Based Control for the Precise Positioning of Robotic Drilling Systems

Abdulla Ayyad, Mohamad Halwani외 4명|arXiv (Cornell University)|2022. 01. 05.

Advanced Surface Polishing Techniques인용 수 4

한 줄 요약

이 논문은 비구조적이고 저조도 환경에서 서브 밀리미터 수준의 정밀도를 달성하기 위해 이벤트 기반 카메라를 사용하는 로봇 드릴링을 위한 최초의 뉴모르픽 비전 기반 제어 시스템을 제안한다. 이 방법은 다중 시점 3차원 재구성과 이벤트 기반 원형 구멍 검출을 결합한 하이브리드 위치 기반 및 이미지 기반 시각 서보 제어를 통해 다양한 조명 조건과 운동 조건에서 평균 위치 오차가 0.1 mm 미만이 되도록 한다.

ABSTRACT

The manufacturing industry is currently witnessing a paradigm shift with the unprecedented adoption of industrial robots, and machine vision is a key perception technology that enables these robots to perform precise operations in unstructured environments. However, the sensitivity of conventional vision sensors to lighting conditions and high-speed motion sets a limitation on the reliability and work-rate of production lines. Neuromorphic vision is a recent technology with the potential to address the challenges of conventional vision with its high temporal resolution, low latency, and wide dynamic range. In this paper and for the first time, we propose a novel neuromorphic vision based controller for faster and more reliable machining operations, and present a complete robotic system capable of performing drilling tasks with sub-millimeter accuracy. Our proposed system localizes the target workpiece in 3D using two perception stages that we developed specifically for the asynchronous output of neuromorphic cameras. The first stage performs multi-view reconstruction for an initial estimate of the workpiece's pose, and the second stage refines this estimate for a local region of the workpiece using circular hole detection. The robot then precisely positions the drilling end-effector and drills the target holes on the workpiece using a combined position-based and image-based visual servoing approach. The proposed solution is validated experimentally for drilling nutplate holes on workpieces placed arbitrarily in an unstructured environment with uncontrolled lighting. Experimental results prove the effectiveness of our solution with an average positional errors of less than 0.1 mm, and demonstrate that the use of neuromorphic vision overcomes the lighting and speed limitations of conventional cameras.

연구 동기 및 목표

• 기존 프레임 기반 카메라의 조명 변화에 대한 민감성과 운동 왜곡 등의 한계를 해결하기 위해.
• 통제되지 않은 조명 조건과 동적인 환경에서 실시간으로 정밀한 로봇 드릴링을 가능하게 하기 위해.
• 이성적 이벤트 데이터를 활용한 비정형 3차원 작업물 정렬 및 종단 기구 정렬을 위한 완전한 뉴모르픽 비전 파이프라인을 개발하기 위해.
• 특히 항공우주 및 자동차 산업의 핵심 응용 분야에서 실용적인 드릴링 작업을 수행할 수 있도록 시스템의 견고성과 정밀도를 검증하기 위해.
• 뉴모르픽 비전이 고정밀 자동화 제조를 위한 신뢰할 수 있는 인식 기술로 가능함을 입증하기 위해.

제안 방법

• 시스템은 이중 단계의 인식을 수행한다: 첫째, 이벤트 기반 카메라 데이터로부터 다중 시점 재구성을 통해 작업물의 初기 3차원 자세를 추정한다.
• 둘째, 새로운 이벤트 기반 원형 구멍 검출 알고리즘이 윤곽 피팅과 모델 기반 검출을 사용하여 국소 영역에서 자세 추정치를 정밀하게 보정한다.
• 하이브리드 시각 서보 제어 전략은 거친 정렬을 위한 위치 기반 시각 서보 제어(PBVS)와 정밀 오차 보정을 위한 이미지 기반 시각 서보 제어(IBVS)를 조합한다.
• 뉴모르픽 카메라(iniVation)는 이성적 이벤트를 캡처하여 고시간 해상도와 낮은 지연을 가능하게 하며, 이는 고속이고 정밀한 제어에 필수적이다.
• 로봇 시스템은 협동 로봇 암, 고안된 드릴링 종단 기구, 그리고 실시간 이벤트 데이터 처리를 통한 피드백 제어를 통합한다.
• 피그인홀 메커니즘은 수동 적응성을 제공하여 최종 정렬 단계에서 잔여 위치 오차를 추가로 감소시킨다.

실험 결과

연구 질문

• RQ1 뉴모르픽 비전은 통제되지 않은 조명 조건과 고속 운동 조건에서 기존 프레임 기반 카메라의 한계를 극복할 수 있는가?
• RQ2 이성적 이벤트 데이터를 활용한 이중 단계 인식 파이프라인은 뉴모르픽 카메라에서 생성된 데이터로 3차원 작업물을 효과적으로 정렬할 수 있는가?
• RQ3 하이브리드 PBVS 및 IBVS 제어는 이벤트 기반 시각 피드백을 사용하여 로봇 드릴링에서 서브 밀리미터 정밀도를 달성할 수 있는가?
• RQ4 실제 비구조적 환경에서의 실생활 드릴링 작업에서 시스템의 위치 오차는 어떻게 평가되는가?
• RQ5 협동 로봇의 적응성과 피그인홀 메커니즘의 적응성은 위치 오차를 얼마나 더 감소시키는가?

주요 결과

• 제안된 뉴모르픽 비전 기반 시스템은 5종의 다른 작업물에 대해 테스트된 모든 나트플레이트 구멍에서 평균 위치 오차가 0.1 mm 미만으로 달성되었다.
• 모든 실험에서 측정된 최대 위치 오차는 0.183 mm였으며, 항공우주 및 자동차 제조의 정밀도 요구 사항을 충족시켰다.
• 시스템은 통제되지 않은 조명 조건과 고속 운동 조건에서도 견고한 성능을 보였으며, 기존 프레임 기반 카메라의 핵심 한계를 극복했다.
• 저해상도와 이성적 데이터를 가진 상황에서도 이벤트 기반 원형 구멍 검출 알고리즘이 높은 정확도로 기준 구멍을 정확히 정렬하였다.
• 다중 시점 재구성과 국소 보정의 조합은 단일 단계 방법 대비 자세 추정 정확도를 크게 향상시켰다.
• 피그인홀 단계에서 협동 로봇의 수동 적응성은 잔여 오차를 추가로 감소시켜 전체 정밀도를 향상시켰다.