[論文レビュー] RealSynCol: a high-fidelity synthetic colon dataset for 3D reconstruction applications

Chiara Lena, Davide Milesi+11 more|arXiv (Cornell University)|Feb 9, 2026

Colorectal Cancer Screening and Detection被引用数 0

ひとこと要約

RealSynCol は endoscopic 3D 再構成のための高度に現実的な合成大腸データセットで、28,130 フレームとグラウンド-truth 深度、光学フロー、3D メッシュ、カメラ軌道を提供する。RealSynCol でファインチューニングすると深度推定の指標が改善され、テスト時のスケール適応が不要になる。

ABSTRACT

Deep learning has the potential to improve colonoscopy by enabling 3D reconstruction of the colon, providing a comprehensive view of mucosal surfaces and lesions, and facilitating the identification of unexplored areas. However, the development of robust methods is limited by the scarcity of large-scale ground truth data. We propose RealSynCol, a highly realistic synthetic dataset designed to replicate the endoscopic environment. Colon geometries extracted from 10 CT scans were imported into a virtual environment that closely mimics intraoperative conditions and rendered with realistic vascular textures. The resulting dataset comprises 28\,130 frames, paired with ground truth depth maps, optical flow, 3D meshes, and camera trajectories. A benchmark study was conducted to evaluate the available synthetic colon datasets for the tasks of depth and pose estimation. Results demonstrate that the high realism and variability of RealSynCol significantly enhance generalization performance on clinical images, proving it to be a powerful tool for developing deep learning algorithms to support endoscopic diagnosis.

研究の動機と目的

• 深層学習による3D内視鏡再構成の開発を、グラウンド-truth データの不足に対処することで促進する。
• 手術中の条件と質感を模した高忠実度の合成大腸データセットを作成する。
• 堅牢な評価のための総合的なグラウンド-truth アノテーション（深度、フロー、メッシュ、軌道）を提供する。
• 合成大腸データセットのベンチマークを取り、合成から実際の内視鏡への学習転移に影響する要因を分析する。

提案手法

• 10 個の CT スキャンから大腸の幾何を抽出し、3D Slicer で半自動処理する。
• 改良モデルを Blender にインポートして現実的な照明、テクスチャ、モノクロカメラ軌道を生成する。
• 電磁追跡を用いたシリコンファントムから実臨床の軌道をベンチマークして現実的な内視鏡運動を捉える。
• SUN データベースのパターンからマルチレイヤーのオーバーレイで血管様テクスチャを合成する。
• フレームごとにグラウンド-truthデータを生成する：深度マップ、光学フロー、カメラ内在行列、軌道、1024×1024 解像度での3D メッシュ。
• RealSynCol 上で標準の深度と姿勢指標を用いて DAM v2 のゼロショットおよびファインチューニング深度モデルを評価し、アブレーションと他の合成データセットとのベンチマークを行う。

実験結果

リサーチクエスチョン

• RQ1 RealSynCol は合成と実際の内視鏡画像間の現実感ギャップを深度と姿勢推定において埋めることができるか？
• RQ2 高忠実度の質感と照明が臨床内視鏡データへのモデルの一般化に与える影響は？
• RQ3 RealSynCol で適応された基盤モデルはテスト時のスケール補正なしに指標深度予測を達成できるか？
• RQ4 RealSynCol は深度と姿勢のタスクにおいて既存の単一視点合成大腸データセットと比較してどうか？

主な発見

• RealSynCol は 10 個の大腸モデルから 20 個のシーケンスで 28,130 フレームを提供し、グラウンド-truth 深度、光学フロー、軌道、メッシュを含む。
• RealSynCol で DAM v2 の深度基盤モデルをファインチューニングすると、指標深度の精度（Abs Rel, Sq Rel, RMSE, RMSE log）とデルタが劇的に改善され、テスト時のスケール補正が不要になる。
• ゼロショット DAM v2 は妥当な深度マップを提供するが、定量的深度には中央値スケーリングが必要であり、メトリックとグラウンド-truth 合成データの価値を強調する。
• アブレーション研究とベンチマーク分析は、RealSynCol の高い現実性と運動分散が臨床内視鏡画像への一般化を高めることを示す。
• RealSynCol はベンチマーキング資源として、内視鏡幾何と外観への視覚ベースモデル適応を可能にする必須の手段として機能する。