[논문 리뷰] RealSynCol: a high-fidelity synthetic colon dataset for 3D reconstruction applications

Chiara Lena, Davide Milesi외 11명|arXiv (Cornell University)|2026. 02. 09.

Colorectal Cancer Screening and Detection인용 수 0

한 줄 요약

RealSynCol은 엔도스코피 3D 재구성을 위한 매우 현실적인 합성 대장 데이터셋으로, 28,130 프레임과 그라운드 트루스 깊이, 광 흐름, 3D 메시, 그리고 카메라 궤적을 제공하며; RealSynCol에서의 미세 조정이 메트릭 깊이 추정 성능을 향상시키고 테스트 시 스케일 적응을 제거합니다.

ABSTRACT

Deep learning has the potential to improve colonoscopy by enabling 3D reconstruction of the colon, providing a comprehensive view of mucosal surfaces and lesions, and facilitating the identification of unexplored areas. However, the development of robust methods is limited by the scarcity of large-scale ground truth data. We propose RealSynCol, a highly realistic synthetic dataset designed to replicate the endoscopic environment. Colon geometries extracted from 10 CT scans were imported into a virtual environment that closely mimics intraoperative conditions and rendered with realistic vascular textures. The resulting dataset comprises 28\,130 frames, paired with ground truth depth maps, optical flow, 3D meshes, and camera trajectories. A benchmark study was conducted to evaluate the available synthetic colon datasets for the tasks of depth and pose estimation. Results demonstrate that the high realism and variability of RealSynCol significantly enhance generalization performance on clinical images, proving it to be a powerful tool for developing deep learning algorithms to support endoscopic diagnosis.

연구 동기 및 목표

• 심층 학습 기반 3D 엔도스코피 재구성 방법의 개발을 ground-truth 데이터 부족 문제 해결로 촉진합니다.
• 수술 중 상황 및 질감을 모방한 고충실 합성 대장 데이터셋을 생성합니다.
• 견고한 평가를 위한 포괄적 ground-truth 주석(depth, flow, meshes, trajectories)을 제공합니다.
• 합성 대장 데이터셋과 기존 데이터셋의 벤치마크를 수행하고 합성에서 실제 엔도스코피로의 학습 전이 요인들을 분석합니다.

제안 방법

• 10개 CT 스캔에서 대장 형상을 추출하고 3D Slicer에서 반자동으로 처리합니다.
• 정제된 모델을 Blender에 가져와 현실적인 조명, 질감, 단안 카메라 궤적을 생성합니다.
• 실제 임상 궤적을 실리콘 팬텀에서 전자기 트래킹으로 벤치마킹하여 현실적인 내시경 움직임을 포착합니다.
• SUN 데이터베이스 패턴의 질감 합성으로 다층 오버레이를 사용하여 혈관과 같은 질감을 생성합니다.
• 프레임별 그라운드 트루스 데이터를 생성합니다: 깊이 맵, 광 흐름, 카메라 내부 매개변수, 궤적, 그리고 1024×1024 해상도의 3D 메시지.
• 표준 깊이 및 포즈 지표를 사용하여 RealSynCol에서 DAM v2의 제로샷 및 미세 조정 깊이 모델을 평가하고, 제거 실험 및 다른 합성 데이터셋과의 벤치마킹을 수행합니다.

실험 결과

연구 질문

• RQ1 RealSynCol이 합성 이미지와 실제 엔도스코피 이미지 간의 현실성 격차를 깊이 및 포즈 추정에 대해 해소할 수 있는가?
• RQ2 고충실 질감과 조명이 모델의 임상 엔도스코피 데이터 일반화에 미치는 영향은 무엇인가?
• RQ3 RealSynCol로 적응된 파운데이션 모델이 테스트 시 스케일 조정 없이 메트릭 깊이 예측을 달성하는가?
• RQ4 RealSynCol은 깊이 및 포즈 작업에서 기존 단일 뷰 합성 대장 데이터셋과 어떻게 비교되는가?

주요 결과

• RealSynCol은 10개의 대장 모델에서 20개 시퀀스에 걸쳐 28,130 프레임을 제공하며 그라운드 트루스 깊이, 광 흐름, 궤적, 메시를 포함합니다.
• RealSynCol에서 DAM v2 깊이 파운데이션 모델을 미세 조정하면 메트릭 깊이 정확도(Abs Rel, Sq Rel, RMSE, RMSE log)와 델타가 크게 개선되어 테스트 시 스케일 보정이 필요하지 않게 됩니다.
• 제로샷 DAM v2는 그럴듯한 깊이 맵을 제공하지만 정량적 깊이를 위해 중앙값 스케일링이 필요하므로 메트릭-그루트 합성 데이터의 가치가 강조됩니다.
• 에일리언 연구 및 벤치마크 분석은 RealSynCol의 높은 현실감과 운동 가변성이 임상 내시경 이미지로의 일반화를 향상시킨다는 것을 시사합니다.
• RealSynCol은 비전 파운데이션 모델을 엔도스코피 기하학 및 외관에 적응시키기 위한 벤치마킹 자원 및 필수적인 촉매 역할을 제공합니다.