[論文レビュー] Segmentation of Surgical Instruments for Minimally-Invasive Robot-Assisted Procedures Using Generative Deep Neural Networks

Iñigo Azqueta-Gavaldon, Florian A. Fröhlich+2 more|elib (German Aerospace Center)|Jun 5, 2020

Surgical Simulation and Training参考文献 16被引用数 4

ひとこと要約

本論文では、CycleGANを用いたドメイン適応を活用して、MiroSurge手術用器具のリアルな合成内視鏡画像を生成する2段階手法を提案する。この手法により、増強されたデータでトレーニングされたU-Netモデルを用いて高品質なセマンティックセグメンテーションが可能となる。実際の内視鏡画像において88.06%の平均交差率（IoU）を達成し、ドメインシフトの影響を受けるが、未観測のda Vinci器具に対しても有望なゼロショット一般化性能を示した。

ABSTRACT

This work proves that semantic segmentation on minimally invasive surgical instruments can be improved by using training data that has been augmented through domain adaptation. The benefit of this method is twofold. Firstly, it suppresses the need of manually labeling thousands of images by transforming synthetic data into realistic-looking data. To achieve this, a CycleGAN model is used, which transforms a source dataset to approximate the domain distribution of a target dataset. Secondly, this newly generated data with perfect labels is utilized to train a semantic segmentation neural network, U-Net. This method shows generalization capabilities on data with variability regarding its rotation- position- and lighting conditions. Nevertheless, one of the caveats of this approach is that the model is unable to generalize well to other surgical instruments with a different shape from the one used for training. This is driven by the lack of a high variance in the geometric distribution of the training data. Future work will focus on making the model more scale-invariant and able to adapt to other types of surgical instruments previously unseen by the training.

研究の動機と目的

• ロボット支援最小侵襲外科学におけるセマンティックセグメンテーションのための手動アノテーションのコストと作業負荷を低減すること。
• 合成トレーニングデータと実際の内視鏡画像の間のドメインギャップを解消し、モデルの一般化性能を向上させること。
• ドメイン適応による増強を経た合成データのみを用いて、実際の手術器具画像におけるセグメンテーション性能を向上させること。
• 異なる手術システム（da Vinci）における一般化能力を評価すること。このシステムは器具の幾何学的形状と外観が異なる。

提案手法

• 未対応の合成画像と実際の内視鏡画像を用いて、CycleGANをトレーニングし、合成された器具レンダリングを現実的でリアルな内視鏡外観に変換する。
• ドメイン適応された合成画像を用いて、重度のデータ増強を施したU-Netベースのセマンティックセグメンテーションネットワークをトレーニングする。
• 合成ドメインと実際ドメインの間で、ポーズおよび幾何分布を正確に一致させることで、翻訳の正確性を向上させる。
• 完全な正解セグメンテーションマスクを備えた、リアルな外観を持つ合成データセット上で、U-Netモデルをエンドツーエンドでトレーニングする。
• モデルの一般化性能は、実際のMiroSurge画像および、多様な器具タイプと複数の器具が1枚の画像に含まれるホールドアウトされたda Vinci器具データセット上で評価する。
• U-Netの強力な特徴抽出能力とスケールに敏感な設計を活用し、将来的にはMultiResUNetやアテンション機構の統合も検討可能。

実験結果

リサーチクエスチョン

• RQ1 CycleGANによるドメイン適応は、手術器具の合成画像と実際の内視鏡画像の間のドメインギャップを効果的に埋めることができるか？
• RQ2 ドメイン適応された合成データでトレーニングされたセマンティックセグメンテーションモデルは、生の合成データでトレーニングした場合に比べ、実際の手術器具セグメンテーションで優れた性能を示すか？
• RQ3 MiroSurgeでトレーニングしたモデルは、器具の形状、テクスチャ、色が異なる別の手術システム（da Vinci）にどの程度一般化できるか？
• RQ4 実世界の設定において、器具のスケール、位置、照明条件の変化に対して、モデルはどのように性能を示すか？

主な発見

• 提案手法は、MiroSurge器具の実際の内視鏡画像において、平均交差率（IoU）88.06%を達成し、既存の最先端手法を上回った。
• モデルは、器具の形状・テクスチャ・色に顕著なドメインシフトが生じるにもかかわらず、da Vinci手術システムへのゼロショット一般化性能が強く、平均IoU 50.28%を達成した。
• モデルの性能はda Vinci器具では著しく低下したが、主に幾何学的および外観的差異に起因し、いくつかのケースでは大部分の器具を検出できた。
• 最低のIoUスコアは、常に器具が画像の大部分を占める場合に観察され、スケールに敏感であることが示された。
• CycleGANによるリアルな外観に変換された合成データと完全なラベルを活用することで、手動アノテーションの必要性を著しく低減できた。
• 結果から、da Vinciデータでモデルをファインチューニングすれば性能が著しく向上する可能性があるが、研究範囲の制限により実施されなかった。