[論文レビュー] ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction

Yubo Zhang, Jan‐Michael Frahm+5 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Vision and Imaging参考文献 44被引用数 5

ひとこと要約

ColDE は、特徴マッチングを用いた幾何的整合性損失および強化された光度損失を導入することで、深度地図の品質を向上させる自己教師付き深度推定フレームワークであり、内視鏡動画の再構築を目的としている。事前に知識を用いずに、実際の内視鏡データのみで学習させた結果、後処理を施さずにリアルタイムで高品質な3次元結腸メッシュを再構築でき、臨床応用が可能な最初のリアルタイム3次元再構築ソリューションである。

ABSTRACT

One of the key elements of reconstructing a 3D mesh from a monocular video is generating every frame's depth map. However, in the application of colonoscopy video reconstruction, producing good-quality depth estimation is challenging. Neural networks can be easily fooled by photometric distractions or fail to capture the complex shape of the colon surface, predicting defective shapes that result in broken meshes. Aiming to fundamentally improve the depth estimation quality for colonoscopy 3D reconstruction, in this work we have designed a set of training losses to deal with the special challenges of colonoscopy data. For better training, a set of geometric consistency objectives was developed, using both depth and surface normal information. Also, the classic photometric loss was extended with feature matching to compensate for illumination noise. With the training losses powerful enough, our self-supervised framework named ColDE is able to produce better depth maps of colonoscopy data as compared to the previous work utilizing prior depth knowledge. Used in reconstruction, our network is able to reconstruct good-quality colon meshes in real-time without any post-processing, making it the first to be clinically applicable.

研究の動機と目的

• 低テクスチャおよび不良な照明による内視鏡動画再構築における深度推定品質の低さという課題に対処すること。
• 先行知識や半教師あり手法に依存しないようにし、実際の内視鏡動画での完全自己教師学習を可能にすること。
• 深度および表面法線の予測に幾何的整合性損失を導入し、フレーム間での形状整合性を確保すること。
• 後処理の平均化ステップなしにリアルタイムで高品質な3次元メッシュ再構築を達成すること。
• メッシュの穴を介して医師に未調査領域を警告できる臨床的応用可能な3次元再構築を生成すること。

提案手法

• フレーム間で深度および表面法線の予測を制約する幾何的整合性損失のセットを設計し、形状の一貫性を確保した。
• 標準的な光度損失に特徴マッチングを拡張することで、照明の変動やノイズに対してより頑健な性能を実現した。
• 真の深度情報や事前生成データを一切使用せず、単眼内視鏡動画のみを用いてネットワークを完全に自己教師学習させた。
• 深度および表面法線の予測を統合的な最適化目的関数に統合し、3次元メッシュ再構築の忠実度を向上させた。
• RGBフレームから密な深度マップを予測するためのマルチスケールネットワークアーキテクチャを採用し、微分可能レンダリングを介したエンドツーエンド学習を実施した。
• 予測された深度マップとカメラポーズを用いて、表面再構築パイプラインを介してリアルタイムで3次元メッシュを再構築した。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き深度推定フレームワークは、先行知識や半教師あり信号に依存せずに、高品質な3次元結腸内視鏡再構築を達成できるか？
• RQ2 深度および表面法線のための幾何的整合性損失は、内視鏡再構築における形状整合性とメッシュ品質をどのように向上させるか？
• RQ3 特徴マッチングを強化した光度損失は、低テクスチャな内視鏡シーンにおける照明ノイズへの耐性をどの程度向上させるか？
• RQ4 提案されたフレームワークは、後処理の平均化なしにリアルタイムで高精細な3次元メッシュを生成できるか？臨床現場への導入を可能にするか？
• RQ5 表面法線の整合性損失の導入は、複雑な結腸形状の再構築およびアーチファクト低減にどのように影響を与えるか？

主な発見

• ColDE は、先行知識なしに、結腸シミュレータデータセットにおいて、最先端の単眼深度推定手法を深度誤差および精度の観点で上回った。
• 完全な ColDE モデルは、熟練医師による評価で79件中62件が「良好な再構築品質」と分類され、平均化を施さない前例の手法 [25] より顕著に優れた性能を示した。
• 後処理の平均化なしに、ColDE は、穴が少なく、装飾性の低い連続的なメッシュを生成した。これに対して、従来手法は穴を低減するために平均化処理を必須としていた。
• アブレーションスタディの結果、法線整合性損失を削除すると再構築品質が低下し、複雑な結腸形状を捉える上でその重要性が確認された。
• ColDE はリアルタイム性能を達成し、内視鏡中に即座に3次元メッシュ再構築が可能であり、臨床的利用に不可欠な要件を満たした。
• KITTI データセットでも競争力のある性能を示し、結腸内視鏡用途を超えた汎用性を確認した。