[論文レビュー] Retinal Vessel Segmentation under Extreme Low Annotation: A Generative Adversarial Network Approach

Avisek Lahiri, Vineet Jain+2 more|arXiv (Cornell University)|Sep 5, 2018

Retinal Imaging and Analysis参考文献 7被引用数 11

ひとこと要約

本論文は、限られたアノテート済みデータ（標準的なアノテーション予算の0.8–1.6％）と豊富なラベルなしデータを活用する、網膜血管分離のためのGANベースの半教師あり学習フレームワークを提案する。構造的予測に基づくアーキテクチャと非教師あり対抗損失を導入することで、DRIVEおよびSTAREデータセットにおいて最先端の性能を達成し、500枚のアノテート済みパッチでさえも完全に教師ありのU-Netモデルを上回る性能を発揮する。

ABSTRACT

Contemporary deep learning based medical image segmentation algorithms require hours of annotation labor by domain experts. These data hungry deep models perform sub-optimally in the presence of limited amount of labeled data. In this paper, we present a data efficient learning framework using the recent concept of Generative Adversarial Networks; this allows a deep neural network to perform significantly better than its fully supervised counterpart in low annotation regime. The proposed method is an extension of our previous work with the addition of a new unsupervised adversarial loss and a structured prediction based architecture. To the best of our knowledge, this work is the first demonstration of an adversarial framework based structured prediction model for medical image segmentation. Though generic, we apply our method for segmentation of blood vessels in retinal fundus images. We experiment with extreme low annotation budget (0.8 - 1.6% of contemporary annotation size). On DRIVE and STARE datasets, the proposed method outperforms our previous method and other fully supervised benchmark models by significant margins especially with very low number of annotated examples. In addition, our systematic ablation studies suggest some key recipes for successfully training GAN based semi-supervised algorithms with an encoder-decoder style network architecture.

研究の動機と目的

• アノテート済みデータが極めて限られている状況で、深層学習モデルの医療画像分離を訓練する課題に対処すること。
• 豊富なラベルなし網膜フンダス画像を活用し、低教師あり状態での分離性能を向上させること。
• 従来のGANベースの半教師あり学習を、分離における空間的依存関係をより良くモデル化できる構造的予測フレームワークに拡張すること。
• 医療画像におけるGANベースのエンコーダデコーダネットワークの半教師あり学習における実用的ガイドラインを提供すること。

提案手法

• ラベルなし画像に対して現実的な分離マップを生成できる新たな非教師あり対抗損失を導入する。
• 全ピクセルに対して同時にマルチラベル出力を予測する構造的予測（SP）設定を採用し、空間的一致性を向上させる。
• ラベル付きパッチにおける教師あり損失と、実際のおよび生成された分離マップにおける対抗損失を組み合わせ、ディスクラミネータとジェネレータを同時に学習する。
• 空間解像度とコンテキストを保持するため、スキップ接続を備えたU-Netスタイルのエンコーダデコーダアーキテクチャを採用する。
• ディスクラミネータを、ラベル付きデータからの実際の分離マップと、ラベルなし画像から生成された偽のマップを区別できるように訓練する。
• ジェネレータを、非教師あり対抗損失とラベル付きデータにおける教師あり損失の両方を最小化するように最適化し、両方のデータタイプからの共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なアノテーション予算の0.8–1.6％のデータしか利用できない状況で、GANベースの半教師ありフレームワークが網膜血管分離の性能を著しく向上させられるか？
• RQ2 従来の「中心ピクセル」予測から構造的予測設定に置き換えることで、分離品質と一般化性能が向上するか？
• RQ3 アノテート済み画像の多様性（すなわち、より多くの画像からサンプリングするか、少ない画像から多数のパッチを抽出するか）が、低アノテーション予算下でのモデル性能に与える影響は？
• RQ4 エンコーダデコーダアーキテクチャを用いたGANベースの半教師あり分離モデルを効果的に訓練するための、重要なアーキテクチャ的および最適化戦略は何か？

主な発見

• 提案手法は、500枚のアノテート済みパッチでのみ、DRIVEデータセットでAUC 0.92、STAREデータセットでAUC 0.90を達成し、完全に教師ありのU-Netや先行の半教師ありモデルを上回る性能を発揮した。
• 1,000枚のアノテート済みパッチで、DRIVEデータセットではAUC 0.94、STAREデータセットではAUC 0.92を達成し、同じ低アノテーション予算下で完全に教師ありのU-Net（それぞれAUC 0.90および0.89）を上回った。
• より多くの画像（例：15枚）からアノテートをサンプリングしたモデルは、少ない画像（例：10枚）から抽出した場合でさえも、高い総パッチ数であっても一貫して優れた性能を示した。
• アブレーションスタディの結果、非教師あり対抗損失と構造的予測設定が、特に低データ環境下での性能向上に不可欠であることが確認された。
• 本手法は、DRIVEおよびSTAREデータセットの両方において、極めて少ないアノテーション予算下での網膜血管分離の新しい最先端ベンチマークを確立した。
• 結果から、アノテートの多様性（より多くの画像からサンプリングすること）が、単なるアノテーション数の増加よりも重要であることが示され、医療画像分野におけるより効率的なアノテーション戦略の可能性を示唆している。