[論文レビュー] Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning

Arnab Kumar Mondal, José Dolz+1 more|arXiv (Cornell University)|Oct 29, 2018

Advanced Neural Network Applications参考文献 10被引用数 121

ひとこと要約

この論文は、少数のラベル付き対象しか用いない半监督GANベースの手法で、 unlabeled data と generator を活用して few-shot 3D multi-modal brain MRI segmentation を行い、ほぼ全監視と同等の性能を達成する。

ABSTRACT

We address the problem of segmenting 3D multi-modal medical images in scenarios where very few labeled examples are available for training. Leveraging the recent success of adversarial learning for semi-supervised segmentation, we propose a novel method based on Generative Adversarial Networks (GANs) to train a segmentation model with both labeled and unlabeled images. The proposed method prevents over-fitting by learning to discriminate between true and fake patches obtained by a generator network. Our work extends current adversarial learning approaches, which focus on 2D single-modality images, to the more challenging context of 3D volumes of multiple modalities. The proposed method is evaluated on the problem of segmenting brain MRI from the iSEG-2017 and MRBrainS 2013 datasets. Significant performance improvement is reported, compared to state-of-art segmentation networks trained in a fully-supervised manner. In addition, our work presents a comprehensive analysis of different GAN architectures for semi-supervised segmentation, showing recent techniques like feature matching to yield a higher performance than conventional adversarial training approaches. Our code is publicly available at https://github.com/arnab39/FewShot_GAN-Unet3D

研究の動機と目的

• 非常に少ないラベル付きの例で3D多モーダル医用画像のセグメンテーションを解決する。
• 敵対的学習を活用して unlabeled および合成パッチを利用し過適合を防ぐ。
• 半監視セグメンテーションのために3DでさまざまなGANアーキテクチャを評価する（特徴マッチングを含む）。
• 脳MRIデータセット（iSEG-2017 と MRBrainS 2013）で性能向上を実証する。

提案手法

• ラベル付き、未ラベル、偽サンプルを扱えるGANベースの枠組みでセグメンテーションネットワークを拡張する。
• (K+1) 出力を持つ識別器を使用し、(K+1) 番目のクラスを偽パッチに対応させる；有効な K 出力を得るための再パラメータ化を適用する。
• 3つの損失で学習する：L_labeled（ラベル付きデータの標準交差エントロピー）、L_unlabeled（未ラベルデータの現実的な出力を促す）、L_fake（生成器が現実的で多様な偽パッチを生成するよう促す）。
• 3Dパッチベースの設計と生成されたパッチを潜在ノイズへマッピングするEncoderを備えたGeneratorを採用し、安定学習のためのFeature Matching (FM) 損失を導入する。
• 分布カバレッジとエントロピーに基づく強化を研究するための補完（悪い）生成器バリアントを実装し、FM GANとこのバリアントを比較する。
• GANトレーニング用のアーキテクチャ調整を加えた3D U-Netを識別器として使用する（重み正規化、leaky ReLU、平均プーリング）。
• memoryを管理するために3D体積を32x32x32パッチとして処理し、 semi-supervised でエンドツーエンドに学習する。
• 前処理をN4 bias correctionと強度正規化で行い、 Adam (lr=1e-4) とバッチサイズ30で訓練する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの半監視学習は、非常に少ないラベル付き対象で正確な3D多モーダル脳MRIセグメンテーションを実現できるか？
• RQ2 未ラベルデータと生成器を取り入れると、過学習を減らし一般化性能を改善するか？限定データでの完全監視訓練と比較して。
• RQ3 異なるGANバリアント（標準の adversarial、特徴マッチング、補完/悪い生成器）は、3D多モーダル設定のセグメンテーション性能にどのように影響するか？
• RQ4 FM GAN は semi-supervised 3D 医用画像セグメンテーションにおいて bad-GAN より優れているか？
• RQ5 提案手法はデータセット間で一般化するか（iSEG-2017 infant brain MRI と MRBrainS 2013 adult brain MRI）。

主な発見

• FM GAN は few-shot シナリオ（1–2 labeled examples）で基本的な U-Net を大きく上回る。
• 特徴マッチング（FM GAN）は、検証したGANバリアントの中で最も優れたセグメンテーション性能を示す。
• 十分な未ラベルデータを用いるとFM GANは完全な監視下の学習に近い結果を達成し、いくつかの設定で標準的な supervise U-Net を上回る。
• iSEG-2017 と MRBrainS 2013 で本手法は Dice スコアを改善し、表面距離指標を低減してベースラインと比較してデータセット横断の適用性を示す。
• 補完的な（bad）生成器はこのタスクには FM GAN より効果が低いが、分布カバレッジと学習安定性の洞察を提供する。