[논문 리뷰] Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery

Menglong Ye, Edward Johns외 4명|arXiv (Cornell University)|2017. 05. 17.

Advanced Vision and Imaging인용 수 13

한 줄 요약

이 논문은 로봇 외과 수술에서 지도 학습이 필요 없는 지도 없는 시민 세이지 학습 프레임워크를 제안한다. 이는 스테레오 영상 쌍을 사용하여 깊이를 추정하는 데 목적이 있으며, 실제 깊이 레이블이 필요로 하지 않는다. 기울기 기반 공간 변환기와 오토에인코더 기반 네트워크를 활용하여, 로봇 부분 신우절제술 절차 동안 수집된 스테레오 영상 데이터를 기반으로 학습을 수행하며, da Vinci 수술 시스템에서 증강 현실 통합에 필수적인 정확한 깊이 예측을 달성한다.

ABSTRACT

Robotic surgery has become a powerful tool for performing minimally invasive procedures, providing advantages in dexterity, precision, and 3D vision, over traditional surgery. One popular robotic system is the da Vinci surgical platform, which allows preoperative information to be incorporated into live procedures using Augmented Reality (AR). Scene depth estimation is a prerequisite for AR, as accurate registration requires 3D correspondences between preoperative and intraoperative organ models. In the past decade, there has been much progress on depth estimation for surgical scenes, such as using monocular or binocular laparoscopes [1,2]. More recently, advances in deep learning have enabled depth estimation via Convolutional Neural Networks (CNNs) [3], but training requires a large image dataset with ground truth depths. Inspired by [4], we propose a deep learning framework for surgical scene depth estimation using self-supervision for scalable data acquisition. Our framework consists of an autoencoder for depth prediction, and a differentiable spatial transformer for training the autoencoder on stereo image pairs without ground truth depths. Validation was conducted on stereo videos collected in robotic partial nephrectomy.

연구 동기 및 목표

• 로봇 외과 수술에서 대규모 깊이 레이블을 확보하는 데 어려움이 존재하는 문제를 해결하기 위해, 이는 수집에 시간과 비용이 많이 들기 때문이다.
• 자기 지도 학습을 활용하여 최소 침습적 로봇 수술 절차에서 확장 가능한 깊이 추정을 가능하게 하기 위해.
• 학습에 실제 깊이 레이블이 필요 없이 스테레오 영상 쌍을 활용하는 프레임워크를 개발하기 위해.
• 내시경 장기 모델의 정확한 3차원 정렬을 지원하기 위해 정밀한 깊이 맵을 제공함으로써 증강 현실 응용 프로그램에 기여하기 위해.

제안 방법

• 좌우 스테레오 영상을 동시에 처리하기 위해 시민 세이지 컨볼루션 신경망 아키텍처를 사용한다.
• 특징 추출 및 정밀 조정을 통해 스테레오 입력에서 깊이 맵을 예측하기 위해 오토에인코더 기반 네트워크를 사용한다.
• 이미지 왜곡을 수행하고 광학 일致성 손실 계산을 가능하게 하기 위해 기울기 기반 공간 변환기 레이어를 통합한다.
• 실제 깊이 레이블이 필요 없도록, 왜곡된 이미지와 대상 이미지 간의 광학 일치성을 기반으로 자기 지도 학습을 통해 모델을 학습시킨다.
• 손실 함수는 왜곡된 왼쪽 이미지와 오른쪽 이미지 간의 재구성 오차를 기반으로 하며, 픽셀 단위의 차이를 최소화한다.
• 로봇 부분 신우절제술 절차 동안 수집된 스테레오 영상 시퀀스를 기반으로 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 지도 없는 학습이 실제 깊이 레이블이 없는 로봇 외과 수술 환경에서 깊이 추정 네트워크를 효과적으로 학습시킬 수 있는가?
• RQ2 기울기 기반 공간 변환기를 갖춘 시민 세이지 네트워크가 실제 수술 스테레오 영상 데이터에 대해 얼마나 잘 일반화되는가?
• RQ3 광학 일치성 손실만으로 내시경 수술 환경에서 정확한 깊이 예측을 얼마나 잘 달성할 수 있는가?
• RQ4 제안된 프레임워크가 da Vinci 수술 시스템에서 증강 현실을 위한 실시간 깊이 추정을 지원할 수 있는가?
• RQ5 모델은 감독 학습 기반 기준 대비 새로운 수술 영상 시퀀스에서 어떻게 성능을 발휘하는가?

주요 결과

• 실제 깊이 레이블이 없는 로봇 부분 신우절제술 영상에서의 스테레오 영상 데이터에 대해 제안된 지도 없는 프레임워크가 경쟁적인 깊이 추정 성능을 달성한다.
• 기울기 기반 공간 변환기를 사용함으로써 광학 일치성에 기반한 효과적인 감독이 가능해져 레이블이 필요한 데이터 의존도가 감소한다.
• 이 방법은 내시경 수술 환경에서 흔히 발생하는 조명 변화와 조직의 외관 변화에 대해 뛰어난 강건성을 보였다.
• 이 프레임워크는 로봇 수술의 증강 현실 응용 프로그램을 위한 정확한 깊이 예측을 가능하게 하여 3차원 정렬에 적합하다.
• 실제 수술 영상 시퀀스에 대한 검증을 통해 임상 환경에서 확장 가능하고 레이블이 없는 깊이 추정의 실현 가능성을 확인했다.