[논문 리뷰] Colonoscopy 3D Video Dataset with Paired Depth from 2D-3D Registration

Taylor L. Bobrow, Mayank Golhar외 4명|arXiv (Cornell University)|2022. 06. 17.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 새로운 2D-3D 등록 파ip라인을 사용하여 실제 고해상도 내窥镜 영상과 합성 3D 모델을 정렬함으로써 고정밀도 3D 영상 인식 기준 데이터셋인 '내 endoscopy 3D 영상 데이터셋(C3VD)'을 제안한다. 이 방법은 GAN을 활용해 2D 프레임에서 깊이를 예측하고, 유전적 최적화 기법을 통해 윤곽 특징을 정렬함으로써 평균 0.321 mm 이동 오차와 0.159° 회전 오차를 달성하여, 총 10,015 프레임에 걸쳐 깊이, 법선, 유량, 자세 등의 픽셀 수준의 참값을 정확히 제공한다.

ABSTRACT

Screening colonoscopy is an important clinical application for several 3D computer vision techniques, including depth estimation, surface reconstruction, and missing region detection. However, the development, evaluation, and comparison of these techniques in real colonoscopy videos remain largely qualitative due to the difficulty of acquiring ground truth data. In this work, we present a Colonoscopy 3D Video Dataset (C3VD) acquired with a high definition clinical colonoscope and high-fidelity colon models for benchmarking computer vision methods in colonoscopy. We introduce a novel multimodal 2D-3D registration technique to register optical video sequences with ground truth rendered views of a known 3D model. The different modalities are registered by transforming optical images to depth maps with a Generative Adversarial Network and aligning edge features with an evolutionary optimizer. This registration method achieves an average translation error of 0.321 millimeters and an average rotation error of 0.159 degrees in simulation experiments where error-free ground truth is available. The method also leverages video information, improving registration accuracy by 55.6% for translation and 60.4% for rotation compared to single frame registration. 22 short video sequences were registered to generate 10,015 total frames with paired ground truth depth, surface normals, optical flow, occlusion, six degree-of-freedom pose, coverage maps, and 3D models. The dataset also includes screening videos acquired by a gastroenterologist with paired ground truth pose and 3D surface models. The dataset and registration source code are available at durr.jhu.edu/C3VD.

연구 동기 및 목표

• 내시경 영상에서 3D 영상 인식 기법(예: 깊이 추정, 표면 재구성 등) 평가를 위한 참값 데이터의 부족 문제를 해결하기 위해.
• 실제 내시경 영상과 합성 3D 모델 간 정확한 정렬을 가능하게 하는 견고한 2D-3D 등록 방법을 개발하기 위해.
• SLAM, 커버리지 맵핑, 병변 탐지 연구를 지원하기 위해 깊이, 표면 법선, 광학 유량, 음영, 6-DOF 자세 등의 픽셀 수준 참값을 포함한 기준 데이터셋을 구축하기 위해.
• 합성 렌더링의 한계를 극복하기 위해 실제 임상 내시경 영상 촬영을 활용하여 현실적인 광학, 조명, 운동 효과를 유지하기 위해.
• 연구 공동체가 재현 및 확장이 가능하도록 오픈소스 3D 모델, 제작 프로토콜, 등록 코드를 제공하기 위해.

제안 방법

• 기존에 없던 다중 모odal 2D-3D 등록 기법을 제안하며, 생성적 적대적 네트워크(GAN)를 활용해 영상 프레임에서 깊이 맵을 생성한다.
• 광학 이미지와 렌더링된 깊이 맵에서 추출한 윤곽 특징을 유전적 최적화 기법을 통해 정렬하여 6-DOF 카메라 자세를 추정한다.
• 영상 시퀀스를 통한 시간적 일관성 활용으로 단일 프레임 등록 대비 이동 오차 55.6% 향상, 회전 오차 60.4% 향상하여 정확도를 향상시킨다.
• 실제 대장 해부학을 모방하기 위해 실리콘 필름을 사용한 관형 기하학적 펌프를 활용해 고정밀도 3D 대장 모델을 제작한다.
• 기존 알려진 3D 모델에서의 렌더링을 통해 깊이, 표면 법선, 광학 유량, 음영, 커버리지 맵 등의 참값 데이터를 생성한다.
• 정밀한 궤적 추적 및 자세 측정을 보장하기 위해 임상용 고해상도 내시경 기구를 로봇 암에 장착하여 데이터를 확보한다.

실험 결과

연구 질문

• RQ1 2D-3D 등록 파이프라인은 실제 내시경 영상와 합성 3D 모델 간 정렬에서 1mm 이하 및 1도 이하의 정확도를 달성할 수 있는가?
• RQ2 단일 프레임 대비 영상의 시간적 정보를 통합할 경우 2D-3D 등록 정확도는 얼마나 향상되는가?
• RQ3 GAN 기반 깊이 예측 모델은 실제 광학 이미지와 합성 깊이 맵 간 도메인 갭을 효과적으로 메우는가?
• RQ4 제작된 데이터셋은 내시경 영상에서의 3D 재구성, 시각적 오도메트리, 커버리지 추정 평가에 얼마나 잘 기여하는가?
• RQ5 합성 렌더링 대비 실제 임상 내시경 영상 촬영을 활용할 경우 3D 영상 인식 알고리즘의 기준 평가 유효성은 어떻게 변화하는가?

주요 결과

• 제안된 2D-3D 등록 방법은 참값이 있는 시뮬레이션에서 평균 이동 오차 0.321 mm, 평균 회전 오차 0.159도를 달성한다.
• 영상 정보를 통합함으로써 단일 프레임 등록 대비 이동 오차 55.6% 향상, 회전 오차 60.4% 향상된다.
• C3VD 데이터셋은 총 10,015 프레임을 포함한 22개의 짧은 영상 시퀀스로 구성되며, 각 프레임에 깊이, 표면 법선, 광학 유량, 음영, 6-DOF 자세, 커버리지 맵, 3D 모델 등 참값이 레이블링되어 있다.
• 실제 고해상도 임상 내시경 기구를 사용해 촬영되어 비전적 효과(예: 전역 조명이 아닌 조명, 센서 노이즈 등)를 현실적으로 유지한다.
• 3D 모델 자산, 몰드 파일, 제작 프로토콜이 오픈소스로 공개되어 연구자들이 펌프 모델을 재현 및 확장할 수 있다.
• 이 데이터셋은 임상적으로 관련성이 있는 환경에서 SLAM, 커버리지 추정, 폴립 탐지, 깊이 추정 알고리즘의 기준 평가를 지원한다.