[論文レビュー] Colonoscopy 3D Video Dataset with Paired Depth from 2D-3D Registration

Taylor L. Bobrow, Mayank Golhar+4 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、2次元-3次元登録パイプラインを用いて、実際のHD内視鏡動画と合成3次元モデルを登録することで作成された、3次元内視鏡画像認識における高精細なベンチマークである「コロノスコピー3D動画データセット（C3VD）」を紹介する。この手法は、2次元フレームからの深度推定を実行するGANと、エッジ特徴を最適化する進化型最適化アルゴリズムを活用し、0.321 mmの並進誤差と0.159°の回転誤差を達成した。これにより、10,015フレームにわたるピクセル単位の真値（深度、法線、光流、ポーズ）が正確に得られた。

ABSTRACT

Screening colonoscopy is an important clinical application for several 3D computer vision techniques, including depth estimation, surface reconstruction, and missing region detection. However, the development, evaluation, and comparison of these techniques in real colonoscopy videos remain largely qualitative due to the difficulty of acquiring ground truth data. In this work, we present a Colonoscopy 3D Video Dataset (C3VD) acquired with a high definition clinical colonoscope and high-fidelity colon models for benchmarking computer vision methods in colonoscopy. We introduce a novel multimodal 2D-3D registration technique to register optical video sequences with ground truth rendered views of a known 3D model. The different modalities are registered by transforming optical images to depth maps with a Generative Adversarial Network and aligning edge features with an evolutionary optimizer. This registration method achieves an average translation error of 0.321 millimeters and an average rotation error of 0.159 degrees in simulation experiments where error-free ground truth is available. The method also leverages video information, improving registration accuracy by 55.6% for translation and 60.4% for rotation compared to single frame registration. 22 short video sequences were registered to generate 10,015 total frames with paired ground truth depth, surface normals, optical flow, occlusion, six degree-of-freedom pose, coverage maps, and 3D models. The dataset also includes screening videos acquired by a gastroenterologist with paired ground truth pose and 3D surface models. The dataset and registration source code are available at durr.jhu.edu/C3VD.

研究の動機と目的

• 3次元コンピュータビジョン技術（例：深度推定、表面再構築）の評価に必要な真値データの不足に対処すること。
• 実際の内視鏡動画と合成3次元モデルを高精度に一致させる、堅牢な2次元-3次元登録手法の開発。
• スレーシング、カバレッジマッピング、ポリープ検出研究を支援するため、深度、表面法線、光流、オクルージョン、6自由度ポーズのピクセル単位の真値を備えたベンチマークデータセットの構築。
• 合成レンダリングの限界を克服するため、現実の臨床的内視鏡映像を用いることで、現実的な光学効果、照明、運動を保持。
• 研究コミュニティによる再現性と拡張性を高めるために、オープンソースの3次元モデル、成形プロトコル、登録コードの提供。

提案手法

• 生成的対抗ネットワーク（GAN）を用いて、光学フレームから深度マップへの変換を実現する、新規のマルチモーダル2次元-3次元登録手法を提案。
• 光学画像とレンダリングされた深度マップから抽出したエッジ特徴を、進化型最適化アルゴリズムで一致させ、6自由度カメラポーズを推定。
• 時間的整合性を活用することで、単一フレーム登録に比べて並進誤差が55.6%、回転誤差が60.4%改善された。
• 実際の結腸解剖を模倣するチューブ状の幾何形状を持つシリコーンプロトタイプを用いて、高精細な3次元結腸モデルを作成。
• 既知の3次元モデルからのレンダリングにより、深度、表面法線、光流、オクルージョン、カバレッジマップなどの真値データを生成。
• 正確な軌道追跡とポーズ測定を保証するため、ロボットアームに取り付けられた臨床用HD内視鏡を用いてデータ収集。

実験結果

リサーチクエスチョン

• RQ1 2次元-3次元登録パイプラインは、実際の内視鏡動画と合成3次元モデルの間で、1ミリメートル未満および1度未塔の精度を達成できるか？
• RQ2 単一フレーム手法と比較して、動画情報を取り入れることで、2次元-3次元登録の精度はどの程度向上するか？
• RQ3 GANベースの深度推定モデルは、実際の光学画像と合成深度マップのドメインギャップを効果的に埋め合わせることができるか？
• RQ4 得られたデータセットは、3次元再構築、ビジュアルオドメトリ、カバレッジ推定の評価にどの程度適しているか？
• RQ5 合成レンダリングと比較して、臨床的内視鏡映像を用いることで、3次元コンピュータビジョンアルゴリズムのベンチマークの妥当性はどのように変化するか？

主な発見

• 提案手法の2次元-3次元登録は、真値を用いたシミュレーションで平均並進誤差0.321 mm、平均回転誤差0.159度を達成した。
• 動画情報を組み込むことで、単一フレーム登録に比べて並進誤差が55.6%、回転誤差が60.4%改善された。
• C3VDデータセットは、合計10,015フレームを含む22の短い動画シーケンスから構成され、各フレームに深度、表面法線、光流、オクルージョン、6自由度ポーズ、カバレッジマップ、3次元モデルの真値が付与されている。
• 実際のHD臨床内視鏡を用いて記録されたため、非グローバル照明やセンサーノイズなどの現実的な光学効果が保持されている。
• 3次元モデルアセット、型取りファイル、成形プロトコルがオープンソース化されており、研究者がプロトタイプモデルを再現・拡張可能である。
• 本データセットは、臨床的に関連性の高い環境下で、SLAM、カバレッジ推定、ポリープ検出、深度推定アルゴリズムのベンチマークに有効に活用できる。