[論文レビュー] CaDIS: Cataract Dataset for Image Segmentation

Maria Grammatikopoulou, Evangello Flouty+6 more|arXiv (Cornell University)|Jun 27, 2019

Retinal Imaging and Analysis被引用数 18

ひとこと要約

本論文は、36のクラス（解剖学的構造、器具、手術用機器を含む）のピクセル単位のアノテーションが付与された、大規模で公開可能なカタラクト手術動画フレーム4,670枚からなるCaDISを紹介する。UNet、DeepLabV3+、UPerNet、HRNetといった最先端のディーブラーニングモデルをベンチマークし、HRNetとUPerNetが、特に細分化された器具分類において、同時に解剖学的構造と器具のセグメンテーションで優れた性能を示すことを示した。

ABSTRACT

Video feedback provides a wealth of information about surgical procedures and is the main sensory cue for surgeons. Scene understanding is crucial to computer assisted interventions (CAI) and to post-operative analysis of the surgical procedure. A fundamental building block of such capabilities is the identification and localization of surgical instruments and anatomical structures through semantic segmentation. Deep learning has advanced semantic segmentation techniques in the recent years but is inherently reliant on the availability of labelled datasets for model training. This paper introduces a dataset for semantic segmentation of cataract surgery videos complementing the publicly available CATARACTS challenge dataset. In addition, we benchmark the performance of several state-of-the-art deep learning models for semantic segmentation on the presented dataset. The dataset is publicly available at https://cataracts-semantic-segmentation2020.grand-challenge.org/.

研究の動機と目的

• コンピュータ支援手術（CAI）の発展に不可欠であるが、包括的で公開可能なデータセットが不足している白内障手術におけるセマンティックセグメンテーションの課題を解決すること。
• 手術用器具に加え、解剖学的構造や非手術的対象も含む豊富なアノテーションを備えたデータセットを提供し、包括的なシーン理解を可能にすること。
• 分類の複雑さの異なる複数のタスクにおいて、最先端のディーブラーニングモデルの性能を評価し、器具分類を含むさまざまなセグメンテーションの複雑さに対応すること。
• リアルタイム手術内ガイダンスシステム、術後分析、手術スキル評価ツールの開発を支援すること。

提案手法

• データセットCaDISは、CATARACTSチャレンジのトレーニングセットから抽出された4,670枚の画像で構成され、4つの解剖学的構造、29種類の手術用器具、3種類の非解剖的対象の合計36クラスについてピクセル単位のアノテーションが付与されている。
• 専門のアノテーターが高い正確性でアノテーションを実施し、臨床的および研究的応用に適した一貫性と品質を確保した。
• 4つの最先端のセマンティックセグメンテーションモデル（UNet、DeepLabV3+、UPerNet、HRNetV2）を、器具クラスのグループ化が複雑になる3つの異なるタスクに対して訓練・評価した。
• モデルの性能は、mIoU（平均交差率）、PA（ピixe精度）、およびクラスごとのmIoUを用いて評価され、解剖学的構造と器具クラスの間のクラス不均衡の影響に特に注目した。
• 標準的なディーブラーニングパイプラインを用い、交差エントロピー損失とデータオーグメンテーションを適用してモデルを訓練し、検証およびテストセットで推論を実施した。
• クラス不均衡に対処するため、全体のmIoUとクラスごとのmIoUの両方でモデルを評価し、テストセットに十分なインスタンスが存在しないクラスは最終評価から除外した。

実験結果

リサーチクエスチョン

• RQ1 多様な解剖学的構造および器具クラスを有する、白内障手術におけるセマンティックセグメンテーションのための新規で大規模なデータセットにおいて、最先端のディーブラーニングモデルの性能はいかほどか？
• RQ2 器具クラスの数を増加させることで、セグメンテーション性能（特にmIoUとクラスレベルの一貫性）にどのような影響が生じるか？
• RQ3 ピクセル数において解剖学的構造が優勢であるクラス不均衡が、特に希少または小さな器具クラスの性能にどのような影響を及えるか？
• RQ4 UNet、DeepLabV3+、UPerNet、HRNetの各モデルアーキテクチャの中で、同時に解剖学的構造と器具分類を含むさまざまなセグメンテーションタスクにおいて、最も頑健な性能を示すのはどれか？
• RQ5 より大きな受容 field を持つHRNet や UPerNet は、UNet や DeepLabV3+ といった標準アーキテクチャに比べ、細分化された手術用器具のセグメンテーションにおいて、どの程度優れた性能を示すか？

主な発見

• HRNetV2 と UPerNet は、複数の器具タイプを同時に分類するような複雑なタスクにおいても、解剖学的構造および器具セグメンテーションで最高のmIoUスコアを達成した。
• UNet は、すべてのタスクにおいて解剖学的構造セグメンテーションで85％以上のmIoUを達成したが、複数の器具タイプを分類するタスクでは顕著に低いmIoUを示した。
• MobileNetV2 ベースの DeepLabV3+ は、UNet を上回る器具セグメンテーション性能を示し、アーキテクチャと特徴学習の最適化が行われた軽量モデルが効果的であることを示唆した。
• クラスごとのmIoU指標は、UNet が大きな解剖学的領域のセグメンテーションに優れているが、細かな境界や小さな器具クラスでは困難を示すのに対し、DeepLabV3+、UPerNet、HRNet はより一貫性があり正確な器具予測を提供していることを明らかにした。
• 検証セットとテストセットのmIoUの間に一貫した差が観察された。これは、動画セット間でのクラス分布のばらつきに起因しており、最終評価から代表が不足しているクラスを除外することが正当化された。
• UPerNet と HRNet が生成するセグメンテーション境界は、DeepLabV3+ や UNet より滑らかでノイズが少なく、複雑な手術シーンにおけるより優れた一般化と特徴学習を示している。