[논문 리뷰] An Image Based Visual Servo Approach with Deep Learning for Robotic Manipulation

Jingshu Liu, Yuan Li|arXiv (Cornell University)|2019. 09. 17.

Advanced Vision and Imaging참고 문헌 17인용 수 7

한 줄 요약

이 논문은 기존의 특징 추출 및 자코비안 추정을 대체하기 위해 이중 스트림 컨volution 신경망(CNN)을 사용하는 딥러닝 기반의 이미지 기반 시각 제어(IBVS) 방법을 제안한다. 이 방법은 2D 이미지 차이를 직접 4-DOF 로봇 암 제어 명령어로 매핑한다. 연구는 다양한 로봇 암 자세 설정에서 수집한 이미지 쌍을 사용해 훈련하여 비선형 이미지-작업 공간 매핑을 학습하며, 특징 계산이나 분석적 자코비안을 명시적으로 사용하지 않고도 실험적으로 정확한 자세 정렬을 달성한다.

ABSTRACT

Aiming at the difficulty of extracting image features and estimating the Jacobian matrix in image based visual servo, this paper proposes an image based visual servo approach with deep learning. With the powerful learning capabilities of convolutional neural networks(CNN), autonomous learning to extract features from images and fitting the nonlinear relationships from image space to task space is achieved, which can greatly facilitate the image based visual servo procedure. Based on the above ideas a two-stream network based on convolutional neural network is designed and the corresponding control scheme is proposed to realize the four degrees of freedom visual servo of the robot manipulator. Collecting images of observed target under different pose parameters of the manipulator as training samples for CNN, the trained network can be used to estimate the nonlinear relationship from 2D image space to 3D Cartesian space. The two-stream network takes the current image and the desirable image as inputs and makes them equal to guide the manipulator to the desirable pose. The effectiveness of the approach is verified with experimental results.

연구 동기 및 목표

• 기존의 이미지 기반 시각 제어(IBVS)에서 수작업으로 수행하는 이미지 특징 추출 및 분석적 자코비안 추정의 과제를 해결하기 위해.
• 딥러닝을 활용해 2D 이미지 공간에서 3D 카르테시안 작업 공간으로의 비선형 매핑을 엔드 투 엔드로 학습하기 위해.
• 현재 이미지와 목표 이미지를 입력으로 사용하는 이중 스트림 CNN 아키텍처를 설계하여 로봇 암의 운동을 안내하기 위해.
• IBVS에서 수작업 특징과 분석 모델에 의존하는 것을 제거하여 정확도와 자동화 수준을 향상시키기 위해.
• 4-DOF 로봇 암을 대상으로 자세 추적 및 정렬 작업을 실험적으로 검증하기 위해.

제안 방법

• 이중 스트림 CNN를 설계하여 현재 이미지와 목표 이미지를 동시에 입력으로 처리한다.
• 네트워크는 현재 이미지와 목표 이미지 간의 차이에서 로봇의 필요한 관절 속도 명령어로의 비선형 매핑을 학습한다.
• 다양한 로봇 암 자세 설정 하에서 수집한 이미지 쌍을 사용해 훈련하여 다양한 시각적 관측을 시뮬레이션한다.
• 손실 함수는 예측된 이미지와 목표 이미지 간의 픽셀 단위 차이를 최소화하여 로봇이 목표 자세로 향하도록 이끌게 한다.
• 제어 방식은 네트워크 출력을 실시간으로 로봇의 관절 속도에 직접 갱신한다.
• 이 방법은 명시적인 이미지 자코비안 계산을 피하고 오직 CNN가 학습한 표현에 의존한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 수작업 특징 설계 없이도 전통적인 특징 추출을 효과적으로 대체할 수 있는가?
• RQ2 이중 스트림 CNN가 로봇 조작을 위해 2D 이미지 공간과 3D 카르테시안 작업 공간 사이의 비선형 관계를 얼마나 잘 학습할 수 있는가?
• RQ3 제안된 방법이 IBVS에서 분석적 자코비안 추정에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 네트워크가 다양한 초기 자세에 대해 일반화되어 있으며, 명시적인 기하 모델링 없이도 정확한 자세 수렴을 달성할 수 있는가?
• RQ5 엔드 투 엔드 학습 접근 방식이 기존의 IBVS와 비교해 수렴성과 견고성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 딥러닝 기반의 IBVS 방법은 명시적인 특징 추출이나 자코비안 계산 없이도 4-DOF 시각 제어를 성공적으로 달성한다.
• 이중 스트림 CNN는 이미지 차이를 제어 명령어로 매핑하여 최소한의 인간 간섭으로 정확한 로봇 자세 정렬을 가능하게 한다.
• 다양한 자세 설정에서의 훈련을 통해 네트워크는 다양한 초기 위치와 방향에 대해 일반화할 수 있다.
• 실험적 검증에서 안정적인 수렴을 보이며 우수한 성능을 나타낸다.
• 결과는 CNN를 통한 엔드 투 엔드 학습이 시각 제어에서 복잡한 비선형 이미지-작업 공간 매핑을 효과적으로 모델링할 수 있음을 확인한다.