[논문 리뷰] ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction

Yubo Zhang, Jan‐Michael Frahm외 5명|arXiv (Cornell University)|2021. 11. 19.

Advanced Vision and Imaging참고 문헌 44인용 수 5

한 줄 요약

ColDE는 기하 일致성 손실과 특징 매칭을 활용한 향상된 광학적 손실을 도입하여 깊이 맵 품질을 향상시키는 자기지도 학습 기반의 대장내 endoscopy 영상 재구성용 깊이 추정 프레임워크이다. 사전 지식 없이 진짜 대장내 endoscopy 데이터만으로 훈련되어 실시간으로 후처리 없이 고품질의 3D 대장 메시를 생성하며, 이는 대장내 endoscopy 동안 실시간 3D 재구성에 대한 임상 적용 가능한 첫 번째 솔루션이다.

ABSTRACT

One of the key elements of reconstructing a 3D mesh from a monocular video is generating every frame's depth map. However, in the application of colonoscopy video reconstruction, producing good-quality depth estimation is challenging. Neural networks can be easily fooled by photometric distractions or fail to capture the complex shape of the colon surface, predicting defective shapes that result in broken meshes. Aiming to fundamentally improve the depth estimation quality for colonoscopy 3D reconstruction, in this work we have designed a set of training losses to deal with the special challenges of colonoscopy data. For better training, a set of geometric consistency objectives was developed, using both depth and surface normal information. Also, the classic photometric loss was extended with feature matching to compensate for illumination noise. With the training losses powerful enough, our self-supervised framework named ColDE is able to produce better depth maps of colonoscopy data as compared to the previous work utilizing prior depth knowledge. Used in reconstruction, our network is able to reconstruct good-quality colon meshes in real-time without any post-processing, making it the first to be clinically applicable.

연구 동기 및 목표

• 낮은 무늬 및 열악한 조명 조건으로 인해 대장내 endoscopy 영상 재구성에서 깊이 추정 품질이 떨어지는 문제를 해결하기 위해.
• 실제 대장내 endoscopy 영상에서만 훈련 가능한 완전 자기지도 학습을 통해 사전 지식이나 준지도 학습 방법에 의존하지 않도록 하기 위해.
• 깊이 및 표면 법선 예측 간 기하 일치성을 강제하는 손실 함수를 개발하여 프레임 간 형태 일致성 향상시키기 위해.
• 후처리 평균화 단계 없이 실시간으로 고품질의 3D 메시 재구성 달성하기 위해.
• 메시의 구멍을 통해 의료진이 점검하지 않은 영역을 경고할 수 있는 임상적으로 적용 가능한 3D 재구성을 생성하기 위해.

제안 방법

• 깊이 및 표면 법선 예측 간 기하 일치성을 확보하기 위해 프레임 간 형태 일致성을 제약하는 일련의 기하 일치성 손실을 설계하였다.
• 기본 광학적 손실을 특징 매칭 기반으로 확장하여 조도 변화 및 노이즈에 대한 강건성을 향상시켰다.
• 실제 단일 카메라 대장내 endoscopy 영상만을 사용하여, 진짜 깊이 값이나 사전 생성된 합성 데이터 없이 완전 자기지도 학습 방식으로 네트워크를 훈련시켰다.
• 3D 메시 재구성 정밀도 향상을 위해 깊이 및 표면 법선 예측을 통합 최적화 목표로 통합하였다.
• 다중 해상도 네트워크 아키텍처를 활용해 RGB 프레임에서 조밀한 깊이 맵을 예측하고, 가역 렌더링을 통한 엔드 투 엔드 훈련을 구현하였다.
• 예측된 깊이 맵과 카메라 자세를 활용하여 표면 재구성 파이프라인을 통해 실시간으로 3D 메시를 재구성하였다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반 깊이 추정 프레임워크가 사전 지식이나 준지도 신호에 의존하지 않고도 고품질의 3D 대장내 endoscopy 재구성을 달성할 수 있는가?
• RQ2 깊이 및 표면 법선에 대한 기하 일치성 손실이 대장내 endoscopy 재구성에서 형태 일치성과 메시 품질 향상에 어떻게 기여하는가?
• RQ3 특징 매칭 기반 강화된 광학적 손실이 낮은 무늬의 대장내 endoscopy 환경에서 조도 노이즈에 대해 얼마나 강건한가?
• RQ4 제안된 프레임워크가 후처리 평균화 없이 실시간으로 고해상도의 3D 메시를 생성하여 임상 현장에 도입 가능한가?
• RQ5 표면 법선 일치성 손실의 통합이 복잡한 대장 해부학적 형태 재구성과 잡음 감소에 어떻게 영향을 미치는가?

주요 결과

• ColDE는 사전 지식 없이도 대장 시뮬레이터 데이터셋에서 최신의 단일 카메라 깊이 추정 방법들보다 깊이 오차와 정확도 측면에서 뛰어난 성능을 보였다.
• 전체 ColDE 모델은 전문가 평가에서 79개 사례 중 62개를 '좋음'으로 분류했으며, 평균화 없이도 이전 방법 [25]보다 뚜렷하게 뛰어난 성능을 보였다.
• 후처리 평균화 없이도 ColDE는 낮은 희소성과 잡음으로 인한 손상이 최소화된 고품질의 연속적인 메시를 생성했으며, 이는 이전 방법이 구멍을 줄이기 위해 평균화를 필요로 한 것과 대조된다.
• 제거 실험 결과, 표면 법선 일치성 손실을 제거할 경우 재구성 품질이 떨어지는 것으로 나타나 복잡한 대장 형태를 포착하는 데 그 중요성이 확인되었다.
• ColDE는 실시간 성능을 달성하여 대장내 endoscopy 중 즉각적인 3D 메시 재구성을 가능하게 하였으며, 이는 임상 응용에 매우 중요하다.
• KITTI 데이터셋에서도 경쟁력 있는 성능을 보여, ColDE가 대장내 endoscopy 외 응용 분야로의 일반화 능력을 확인하였다.