[論文レビュー] SERV-CT: A disparity dataset from CT for validation of endoscopic 3D reconstruction

Philip Edwards, Dimitrios Psychogyios+3 more|arXiv (Cornell University)|Dec 22, 2020

Anatomy and Medical Technology参考文献 27被引用数 6

ひとこと要約

本稿では、死体ブタの画像を用いたCTスキャンから得られるものである、手術用3D再構成のための高精度な視差および深度推定を可能にする、新しいステレオ内視鏡検証データセットであるSERV-CTを紹介する。内視鏡の視界をCTから得られる幾何学的形状に手動で一致させることで、視差精度は約2ピクセルRMS、深度精度は約2mmに達し、手術におけるステレオアルゴリズムの現実的で信頼性の高いベンチマークを提供する。

ABSTRACT

In computer vision, reference datasets have been highly successful in promoting algorithmic development in stereo reconstruction. Surgical scenes gives rise to specific problems, including the lack of clear corner features, highly specular surfaces and the presence of blood and smoke. Publicly available datasets have been produced using CT and either phantom images or biological tissue samples covering a relatively small region of the endoscope field-of-view. We present a stereo-endoscopic reconstruction validation dataset based on CT (SERV-CT). Two {\it ex vivo} small porcine full torso cadavers were placed within the view of the endoscope with both the endoscope and target anatomy visible in the CT scan. Orientation of the endoscope was manually aligned to the stereoscopic view. Reference disparities and occlusions were calculated for 8 stereo pairs from each sample. For the second sample an RGB surface was acquired to aid alignment of smooth, featureless surfaces. Repeated manual alignments showed an RMS disparity accuracy of ~2 pixels and a depth accuracy of ~2mm. The reference dataset includes endoscope image pairs with corresponding calibration, disparities, depths and occlusions covering the majority of the endoscopic image and a range of tissue types. Smooth specular surfaces and images with significant variation of depth are included. We assessed the performance of various stereo algorithms from online available repositories. There is a significant variation between algorithms, highlighting some of the challenges of surgical endoscopic images. The SERV-CT dataset provides an easy to use stereoscopic validation for surgical applications with smooth reference disparities and depths with coverage over the majority of the endoscopic images. This complements existing resources well and we hope will aid the development of surgical endoscopic anatomical reconstruction algorithms.

研究の動機と目的

• ミニ invasive surgeryにおける高精細で公開可能なステレオ検証データセットの不足に対処すること。
• CTスキャンを用いて、実際の手術内視鏡シーンを模擬する、正確な視差と深度を有する基準データセットを構築すること。
• 鏡面反射、遮蔽、深度変化を含む臨床的関連性の高い条件下で、ステレオ再構成アルゴリズムの再現可能な評価を可能にすること。
• 血液、煙、低テクスチャなどの手術画像の課題を伴う状況下で、ステレオアルゴリズムの評価のための標準化されたベンチマークを提供すること。
• 特にロボット手術および拡張現実応用を想定した、耐障害性の高い3D再構成および手術支援システムの開発を支援すること。

提案手法

• 死体ブタの臓器に内視鏡と解剖学的構造が可視化されるように、ステレオ内視鏡画像ペアとそれに対応するCTスキャンの取得。
• CTボリュームにおける内視鏡の位置と姿勢が既知であることを制約として、内視鏡視界をCTから得られる3次元幾何学に手動で一致させる。
• OpenGLベースのレンダリングを用いて、一致させた3次元モデルから深度マップを計算し、その結果をもとに視差マップを導出する。
• 内視鏡画像の視野の大部分をカバーする基準視差マップ、深度マップ、遮蔽マップの生成。
• 特徴のない鏡面領域の正確な一致を向上させるために、RGB表面スキャンを組み込む。
• 再現可能性を確保するため、複数のオープンソースステレオアルゴリズムを用いて、完全なパrameterおよびモデル重み共有によるデータセットの検証。

実験結果

リサーチクエスチョン

• RQ1 CTベースの手法は、死体手術シーンにおける内視鏡ステレオ再構成に、信頼性があり高精度な視差マップおよび深度マップを生成できるか？
• RQ2 内視鏡視界をCT幾何に手動で一致させることで、視差および深度推定の精度にどのような影響を与えるか？
• RQ3 最先端のステレオアルゴリズムは、鏡面反射や低テクスチャといった現実的な手術課題を伴うデータセットで、どの程度の性能を示すか？
• RQ4 SERV-CTは、ミニ invasive surgeryにおけるステレオ再構成アルゴリズムの評価と比較のための堅牢なベンチマークとして機能できるか？
• RQ5 顕著な深度変化と遮蔽を伴う内視鏡画像に適用された現在のステレオアルゴリズムに、どのような限界があるか？

主な発見

• 手動による一致処理により、RMS視差精度が約2ピクセル、深度精度が約2mmに達し、高い精度を示した。
• 1例あたり8組のステレオ画像ペアが含まれており、滑らかで鏡面的な表面を含む多様な組織タイプと顕著な深度変化をカバーしている。
• 性能評価の結果、ステレオアルゴリズム間で顕著な差が認められ、手術内視鏡再構成の難易度が浮き彫りになった。
• 実世界の屋外データセットで最高の性能を示したアルゴリズムが、手術応用においても有望であることが判明し、移植可能性が示唆された。
• データセットは完全なキャリブレーション、視差、深度、遮蔽マップとともに公開されており、再現可能なベンチマークが可能である。
• da Vinci内視鏡における低解像度や色のずれといった制限にもかかわらず、学習および検証のための貴重な基準を提供している。