[논문 리뷰] SLAM Endoscopy enhanced by adversarial depth prediction

Richard J. Chen, Taylor L. Bobrow외 3명|arXiv (Cornell University)|2019. 06. 29.

Colorectal Cancer Screening and Detection참고 문헌 13인용 수 21

한 줄 요약

이 논문은 RGB 내 endoscopic 영상에서 깊이를 추정하기 위해 조건부 GAN을 사용한 적대적 깊이 예측으로 향상된 단안 SLAM 시스템을 제안한다. 합성 및 도메인 랜덤라이제이션된 실사적인 CT 렌더링된 대장 영상으로 훈련된 방법은 특이 반사와 기능 희소성에도 불구하고 강건한 추적을 가능하게 하여 펌프 및 체외 porcine 대장 모델의 밀도 높은 3D 재구성 가능.

ABSTRACT

Medical endoscopy remains a challenging application for simultaneous localization and mapping (SLAM) due to the sparsity of image features and size constraints that prevent direct depth-sensing. We present a SLAM approach that incorporates depth predictions made by an adversarially-trained convolutional neural network (CNN) applied to monocular endoscopy images. The depth network is trained with synthetic images of a simple colon model, and then fine-tuned with domain-randomized, photorealistic images rendered from computed tomography measurements of human colons. Each image is paired with an error-free depth map for supervised adversarial learning. Monocular RGB images are then fused with corresponding depth predictions, enabling dense reconstruction and mosaicing as an endoscope is advanced through the gastrointestinal tract. Our preliminary results demonstrate that incorporating monocular depth estimation into a SLAM architecture can enable dense reconstruction of endoscopic scenes.

연구 동기 및 목표

• 정확한 3D 재구성을 위한 단안 내 endoscopic SLAM에서 희소한 기능과 깊이 감지 부족의 문제 해결.
• 조직의 균일성, 변형 및 반사로 인해 전통적인 기능 기반 SLAM의 한계를 극복.
• 적대적 훈련을 통해 환자별 텍스처와 색상에 일반화되는 깊이 예측 방법 개발.
• 단안 RGB 영상과 예측된 깊이만을 사용하여 밀도 높은 surfel 기반의 위장관계 재구성 가능.
• 절차 품질 지표 향상과 병변 국소화를 위한 내 endoscopic 영상의 모자이킹 프레임워크 제공.

제안 방법

• 최소-최대 손실 목적함수를 사용하여 단안 RGB 내 endoscopic 영상에서 깊이를 예측하기 위해 조건부 생성 적대적 네트워크(cGAN) 훈련.
• 기본 훈련 데이터로 단순 대장 모델의 합성 영화 렌더링을 사용하고 진짜 깊이 맵을 제공.
• 인간 대장의 CT 스캔에서 생성된 도메인 랜덤라이제이션된 실사적인 이미지로 깊이 네트워크의 피니팅.
• 감지기적 현실감을 향상시키고 깊이 예측의 정확도를 높이기 위해 L_GAN과 L1 픽셀 기반 손실을 조합.
• 예측된 깊이 맵을 RGB 영상과 융합하여 밀도 높은 surfel 기반 재구성에 직접적으로 적용하는 ElasticFusion SLAM 프레임워크 활용.
• 하드웨어 수정 없이 단안 카메라 설정을 사용하여 어려운 내 endoscopic 조건에서 실시간으로 강건한 추적 가능.

실험 결과

연구 질문

• RQ1 단안 내 endoscopic 영상에서의 적대적 깊이 예측이 기능 희소성, 반사, 변형이 있는 환경에서 3D 재구성 정확도를 향상시키는가?
• RQ2 도메인 랜덤라이제이션이 깊이 예측 네트워크의 실내 내 endoscopic 조직에 대한 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 GAN 기반 깊이 네트워크가 위장관계의 조직 색상, 텍스처, 반사 변화를 얼마나 잘 처리할 수 있는가?
• RQ4 스테레오 또는 깊이 센서 없이 단안 RGB와 예측된 깊이만을 사용하여 밀도 높은 surfel 기반 재구성을 달성할 수 있는가?
• RQ5 기존 기능 기반 SLAM과 비교해 본다면 제안된 방법이 추적 안정성과 재구성 품질 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 펌프 대장 모델의 밀도 높은 3D 재구성에 성공하여 하우스트랄 접힘과 피드기얼 마커를 정확히 포착.
• 체외 porcine 대장 모델에서 동적 조명 변화와 반사 반사에도 불구하고 시스템은 성공적으로 추적하고 surfel을 재색상화.
• 피니팅 단계에서 도메인 랜덤라이제이션을 통해 적대적 깊이 네트워크가 텍스처와 색상 변화에 강건함을 입증.
• 하드웨어 수정 없이 내 endoscopic 영상 시퀀스를 일관된 3D 표면 모델로 모자이킹하는 데 성공.
• 재구성 품질은 펌프 및 실제 조직 모델에서 정성적으로 검증되었으며, 정량적 검증은 진행 중.
• 이 방법은 병변 국소화 향상 및 절차 완전성 평가(예: 표면적 커버리지)와 같은 임상적 응용 가능성을 지원함.