[논문 리뷰] A Deep Learning Based 6 Degree-of-Freedom Localization Method for Endoscopic Capsule Robots

Mehmet Turan, Yasin Almalıoğlu외 2명|arXiv (Cornell University)|2017. 05. 15.

Gastrointestinal Bleeding Diagnosis and Treatment참고 문헌 18인용 수 26

한 줄 요약

이 논문은 단일 카메라 영시 입력만을 사용하여 내시경 캡슐 로봇의 실시간 6자유도(DoF) 위치 추정을 위한 23층의 깊은 합성곱 신경망(CNN)을 제안한다. 인체 위장 모델에 합성 왜곡을 가미한 환경에서 훈련된 시스템은 7.1%의 이동 오차와 3.4%의 회전 오차를 기록하며, 기존의 SLAM 방법들을 능가하고 저조도, 낮은 무늬, 반사, 운동 왜곡, 저해상도 환경에 대해 강건함을 입증한다.

ABSTRACT

We present a robust deep learning based 6 degrees-of-freedom (DoF) localization system for endoscopic capsule robots. Our system mainly focuses on localization of endoscopic capsule robots inside the GI tract using only visual information captured by a mono camera integrated to the robot. The proposed system is a 23-layer deep convolutional neural network (CNN) that is capable to estimate the pose of the robot in real time using a standard CPU. The dataset for the evaluation of the system was recorded inside a surgical human stomach model with realistic surface texture, softness, and surface liquid properties so that the pre-trained CNN architecture can be transferred confidently into a real endoscopic scenario. An average error of 7:1% and 3:4% for translation and rotation has been obtained, respectively. The results accomplished from the experiments demonstrate that a CNN pre-trained with raw 2D endoscopic images performs accurately inside the GI tract and is robust to various challenges posed by reflection distortions, lens imperfections, vignetting, noise, motion blur, low resolution, and lack of unique landmarks to track.

연구 동기 및 목표

• 외부 센서 없이도 유인된 내시경 캡슐 로봇에 대해 실시간 정확한 6-DoF 자세 추정을 가능하게 하기 위해.
• 낮은 무늬, 반사성, 노이즈가 많은 내시경 환경에서 전통적 SLAM 방법의 한계를 극복하기 위해.
• ImageNet에서의 전이 학습을 통해 대규모 애너테이션 데이터셋에 대한 의존도를 줄이기 위해.
• 소화기내시경 진료에 임상적으로 적용 가능한 강건한 비전 전용 위치 추정 시스템을 개발하기 위해.

제안 방법

• 단일 카메라 내시경 영상에서 3차원 이동과 3차원 회전을 포함한 6-DoF 자세를 직접 회귀하는 23층의 깊은 합성곱 신경망(CNN)을 엔드 투 엔드로 훈련한다.
• 제한된 내시경 데이터로 효과적인 특징 학습을 가능하게 하기 위해 ImageNet 사전 훈련된 가중치를 사용해 CNN를 초기화하는 전이 학습을 적용한다.
• 실제 내시경 환경을 시뮬레이션하기 위해 운동 왜곡, 빛 줄어듦, 노이즈, 반사 등의 합성 왜곡을 데이터 증강에 통합한다.
• 부드러운 조직 표면, 표면의 액체, 현실적인 변형 특성을 갖춘 실제 인간 위장 모델에서 촬영한 고유한 데이터셋을 기반으로 네트워크를 훈련한다.
• 표준 CPU(인텔 i5)에서 1 프레임당 5ms의 실시간 추론을 달성하여 실시간 위치 추정을 가능하게 한다.
• 과적합을 방지하기 위해 별도의 훈련 및 검증 세트를 사용하는 교차 검증 프로토콜을 적용하며, 검증 손실이 수렴할 때까지 훈련을 중단한다.

실험 결과

연구 질문

• RQ1 실제 소화기 내시경 환경에서 단일 카메라 영시 입력만을 사용하여 깊은 CNN을 효과적으로 미세조정하여 캡슐 로봇의 6-DoF 위치 추정을 수행할 수 있는가?
• RQ2 ImageNet에서의 전이 학습은 낮은 무늬, 고왜곡 내시경 영상에서 성능을 얼마나 향상시키는가?
• RQ3 어떤 도전적인 내시경 조건에서도 기존의 SLAM 기법들(예: ORB-SLAM, PTAM, LSD-SLAM)과 비교해 제안된 CNN 기반 방법의 위치 추정 정확도는 어떠한가?
• RQ4 재학습 없이도 큰 움직임, 반사, 낮은 해상도를 포함한 새로운 테스트 시퀀스에 대해 모델이 일반화 가능한가?

주요 결과

• 검토된 테스트 세트에서 제안된 CNN 기반 방법은 평균 이동 오차 7.1%와 회전 오차 3.4%를 기록한다.
• 왜곡된 데이터를 포함한 두 번째 훈련 실험에서는 x축에서 1.60%, y축에서 3.01%, z축에서 5.71%의 회전 오차를 기록하며 더 우수한 성능을 보였다.
• 이동 오차는 각각 x축 4.72%, y축 9.16%, z축 7.44%였으며, y방향에서 가장 높은 오차가 관찰되었다.
• 빠른 회전과 큰 이동을 수반하는 어려운 케이스에서도 시스템은 near-overlapping 3D 궤적 플롯을 통해 강건한 추적 성능을 입증하였다. OptiTrack 기준값과의 비교에서 확인되었다.
• 18cm 궤적에서 RMSE는 0.18cm를 기록하였으며, PTAM(2.6cm RMSE), ORB-SLAM, LSD-SLAM를 크게 능가하였다.
• 훈련 및 검증 손실 곡선이 국소 최소값으로 수렴하여 과적합 또는 과소적합 없이 효과적인 일반화가 이루어졌음을 나타낸다.