[論文レビュー] Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps

Umaseh Sivanesan, Luis H. Braga+2 more|arXiv (Cornell University)|Nov 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 65被引用数 13

ひとこと要約

本論文は、GANを用いてエッジ図から合成学習データを生成することで、実際のアノテート済みデータがなくても高品質なセグメンテーションを実現する教師なし医療画像セグメンテーション手法を提案する。腎臓超音波画像および皮膚腫瘍データセットにおいて、教師ありモデルの10%のラベルデータで微調整する場合に近い最先端の教師なし性能を達成した。

ABSTRACT

We develop and approach to unsupervised semantic medical image segmentation that extends previous work with generative adversarial networks. We use existing edge detection methods to construct simple edge diagrams, train a generative model to convert them into synthetic medical images, and construct a dataset of synthetic images with known segmentations using variations on extracted edge diagrams. This synthetic dataset is then used to train a supervised image segmentation model. We test our approach on a clinical dataset of kidney ultrasound images and the benchmark ISIC 2018 skin lesion dataset. We show that our unsupervised approach is more accurate than previous unsupervised methods, and performs reasonably compared to supervised image segmentation models. All code and trained models are available at https://github.com/kiretd/Unsupervised-MIseg.

研究の動機と目的

• アノテート済み医療画像データの不足に起因する課題に対処するため、完全に教師なしのセグメンテーションフレームワークを構築すること。
• 医療画像における臓器の幾何学的整合性を活用し、単純なエッジ図から現実的で信頼性の高い合成学習データを生成すること。
• この合成データ上で教師ありセグメンテーションモデルを学習し、実際の医療画像に適用することで、実データにおける正解ラベルを必要としないこと。
• 実臨床データセット上で性能を評価し、教師なしおよび教師ありのベースラインと比較すること。
• 最小限のラベル付きデータを用いた半教師あり微調整により、セグメンテーション精度を向上させることを検討すること。

提案手法

• 実際の医療画像に対して事前学習済みのエッジ検出手法を用いてエッジ図を構築する。
• 条件付きGANを訓練し、これらのエッジ図から合成医療画像を生成する。対応するセグメンテーションマップは図から導出される。
• 抽出されたエッジ図に変異を加えることで、多様性と一般化性能を向上させるために合成データセットを作成する。
• U-Net や Mask-RCNN などの教師ありセグメンテーションモデルを、既知の正解セグメンテーションを持つ合成データ上で学習する。
• 腎臓超音波画像および ISIC 2018 皮膚腫瘍データセットからの実際のテスト画像に対して、学習済みモデルを評価する。
• 性能向上のため、少量の実際のラベル付きデータを用いて半教師あり微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 エッジ図を用いて、正確なセグメンテーションマップを有する現実的で信頼性の高い合成医療画像を生成できるか？
• RQ2 完全に合成データ上で学習したセグメンテーションモデルが、実際の医療画像セグメンテーションタスクで競争力のある性能を達成できるか？
• RQ3 本教師なし手法の性能は、実臨床データセット上で既存の教師なしおよび教師ありアプローチと比較してどの程度か？
• RQ4 少量のラベル付き実データを用いることで、教師なしモデルの性能はどの程度向上するか？
• RQ5 教師なしモデルの失敗モードは、画像アーチファクトや複雑な解剖学的構造とどのように関係しているか？

主な発見

• 腎臓超音波画像データセットでは、教師なし手法が F1 スコア 0.81（±0.09）、mIoU 0.69（±0.12）、pACC 0.90（±0.05）を達成し、W-net よりも優れた性能を示した。
• 10%のラベル付きデータを用いた半教師ありバージョンでは、F1 が 0.88（±0.08）、mIoU が 0.80（±0.11）に達し、完全に教師ありの U-Net（F1: 0.91、mIoU: 0.84）に近い性能を示した。
• ISIC 2018 皮膚腫瘍データセットでは、教師なし手法が F1 0.830、mIoU 0.753、th-mIoU 0.683 を達成し、先行する教師なし手法を上回り、教師ありベースラインに近い性能を示した。
• 腎臓では特異度 0.92、皮膚腫瘍では 0.947 と高い特異度を示したが、感度はやや低め（0.87 および 0.835）であり、小さな領域を過剰にセグメンテーションするか、見逃す傾向があることが示された。
• 失敗事例の主な原因は、皮膚腫瘍に存在するレンズやフィルムなどのアーチファクトであり、モデルがそれらを腫瘍の下層構造ではなく、誤ってセグメンテーションしていた。
• 滑らかで凸型のエッジ図を使用しても、非凸型および不規則な境界にまで一般化できることから、幾何学的複雑性に対して高い耐性を示していることが示された。