[논문 리뷰] Dense Depth Estimation in Monocular Endoscopy with Self-supervised Learning Methods

Xingtong Liu, Ayushi Sinha외 5명|arXiv (Cornell University)|2019. 02. 20.

Advanced Vision and Imaging참고 문헌 29인용 수 7

한 줄 요약

이 논문은 단일 렌즈 내 endoscopy에서 밀도 높은 깊이 추정을 위한 자기지도 학습 딥러닝 방법을 제안한다. 이 방법은 수동 레이블링, CT 스캔, 또는 광학적 일관성 가정 없이도 레이블이 없는 내시경 영상과 구조에서 운동을 통한 구조(SfM)로부터 유도된 희박한 3D 재구성만을 요구한다. 이 접근법은 환자 간 평가에서 밀리미터 이내의 평균 잔차 오차를 달성하며, 기존의 자기지도 학습 방법보다 생체 내 부비동 내시경 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

We present a self-supervised approach to training convolutional neural networks for dense depth estimation from monocular endoscopy data without a priori modeling of anatomy or shading. Our method only requires monocular endoscopic videos and a multi-view stereo method, e.g., structure from motion, to supervise learning in a sparse manner. Consequently, our method requires neither manual labeling nor patient computed tomography (CT) scan in the training and application phases. In a cross-patient experiment using CT scans as groundtruth, the proposed method achieved submillimeter mean residual error. In a comparison study to recent self-supervised depth estimation methods designed for natural video on in vivo sinus endoscopy data, we demonstrate that the proposed approach outperforms the previous methods by a large margin. The source code for this work is publicly available online at https://github.com/lppllppl920/EndoscopyDepthEstimation-Pytorch.

연구 동기 및 목표

• 수동 레이블링이나 사전 검사용 CT 스캔에 의존하지 않는 단일 렌즈 내시경에서의 자기지도 학습 방법을 개발하는 것.
• 낮은 무늬, 반사성 및 조직 변형으로 인해 내시경 영상에서 희박하고 일관성 없는 깊이 재구성이 발생하는 문제를 해결하는 것.
• 광학적 일관성 또는 해부학적 사전 지식이 필요 없이 정확한 3차원 재구성을 가능하게 하여 수술 내비게이션에 활용하는 것.
• 레이블이 없는 영상 데이터만을 사용하여 다양한 환자와 내시경 카메라 간에 일반화할 수 있도록 하는 것.
• 광학적 유사성에 의존하지 않는 기하학적 일致성 손실을 도입하여 SfM 오류에 대한 강건성을 향상시키는 것.

제안 방법

• 구조에서 운동(SfM)을 통해 유도된 희박한 3D 재구성에서 유도된 지도 학습 및 자기지도 학습 손실을 조합하여 컨볼루션 신경망을 훈련하는 방법.
• 연속 프레임의 예측 깊이 맵 간의 강체 변환을 강제하는 새로운 미분 가능 기하학적 일관성 손실(DCL)을 도입하여, 낮은 무늬 또는 반사 영역에서의 일반화 성능을 향상시킴.
• SfM에서 유도된 희박한 깊이 점을 활용하여 지도 학습 없이도 네트워크를 지도하는 데 사용되는 두 번째 손실인 희박한 특징 손실(SFL).
• SFL과 DCL를 조합한 다중 작업 손실을 통해 엔드 투 엔드로 네트워크 아키텍처를 훈련시켜 단일 단일 렌즈 프레임으로부터 밀도 높은 깊이 예측을 가능하게 함.
• 프레임 간 광학적 일관성 가정을 하지 않아, 내시경에서 흔한 조명 변화 및 반사에 강건함.
• 훈련 과정은 완전히 자기지도 학습 방식이며, 레이블링이나 CT 스캔 없이 단지 단일 렌즈 영상과 SfM 출력에 의존함.

실험 결과

연구 질문

• RQ1 수동 레이블링이나 사전 검사용 CT 스캔 없이도 단일 렌즈 내시경에서 밀도 높은 깊이 추정을 달성할 수 있는가?
• RQ2 광학적 일관성이 없는 조건에서 연속 프레임 간 기하학적 일관성을 어떻게 강제할 수 있는가?
• RQ3 레이블이 없는 영상 데이터만을 사용하여 자기지도 학습 딥러닝 모델이 다양한 환자와 내시경 카메라 간에 일반화할 수 있는가?
• RQ4 실제 생체 내 내시경 데이터에서 기존의 자기지도 학습 깊이 추정 기법과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?
• RQ5 반사성과 낮은 무늬를 가진 도전적인 내시경 환경에서 DCL와 같은 기하학적 일관성 손실이 깊이 추정 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• CT 스캔을 기준으로 한 환자 간 평가에서 제안된 방법은 평균 잔차 오차가 1 mm 미만으로 나타나 환자 간 강력한 일반화 성능을 입증함.
• 생체 내 부비동 내시경 데이터에서, 두 가지 최근 자기지도 학습 깊이 추정 방법보다 큰 격차로 성능을 뛰어넘어 뛰어난 강건성과 정확도를 입증함.
• 미분 가능 기하학적 일관성 손실(DCL)의 포함으로, 경계 근처나 반사 영역에서 SfM 점이 누락되거나 부정확한 영역에서 성능 향상이 뚜렷하게 나타남.
• 최소한의 파라미터 튜닝으로도 다양한 내시경 카메라와 환자 간에 잘 일반화됨을 보여주는 환자 간 실험 결과를 통해 확인됨.
• 모델은 전역 스케일까지의 밀도 높은 깊이 맵을 생성하며, 저자들은 응용 시 외부 캘리브레이션 또는 알려진 크기의 물체를 통해 전역 스케일 복원이 가능하다고 언급함.
• 가장 가까운 점 매칭 방식의 특성상 CT 기반 잔차 오차 평가는 실제 오차를 과소 평가할 수 있으며, 유효한 희박한 대응점이 존재하는 영역에서는 SfM 기반 평가가 더 정확도를 잘 반영할 수 있음.