[論文レビュー] Generative Adversarial U-Net for Domain-free Medical Image Augmentation

Xiaocong Chen, Yun Li+3 more|arXiv (Cornell University)|Jan 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 9

ひとこと要約

本論文は、ドメインに依存しない生成的敵対的U-Net（GAN-UNet）を提案し、ドメイン特化の調整を必要とせずに、複数のモodalitiyにわたる高品質で多様な医用画像を合成する。U-Netアーキテクチャと条件付きGANを統合し、ガウスノイズを用いた潜在空間の条件付けを行うことで、実際の医用画像に類似した画像を生成し、8つの多様なデータセットにおいて下流分類性能を顕著に向上させ、FIDおよび分類指標で最先端の結果を達成した。

ABSTRACT

The shortage of annotated medical images is one of the biggest challenges in the field of medical image computing. Without a sufficient number of training samples, deep learning based models are very likely to suffer from over-fitting problem. The common solution is image manipulation such as image rotation, cropping, or resizing. Those methods can help relieve the over-fitting problem as more training samples are introduced. However, they do not really introduce new images with additional information and may lead to data leakage as the test set may contain similar samples which appear in the training set. To address this challenge, we propose to generate diverse images with generative adversarial network. In this paper, we develop a novel generative method named generative adversarial U-Net , which utilizes both generative adversarial network and U-Net. Different from existing approaches, our newly designed model is domain-free and generalizable to various medical images. Extensive experiments are conducted over eight diverse datasets including computed tomography (CT) scan, pathology, X-ray, etc. The visualization and quantitative results demonstrate the efficacy and good generalization of the proposed method on generating a wide array of high-quality medical images.

研究の動機と目的

• ディープラーニングを用いた医用画像解析における、アノテーション付き医用画像の不足という重要な課題に対処する。
• 回転やクロッピングなどの従来のデータ拡張手法が、ピクセルレベルの変化しか導入せず、データ漏洩のリスクを伴うという制限を克服する。
• CT、X線、病理など、多様な画像モodalitiyにわたって高精細な医用画像を合成できる、一般化可能でドメインフリーの生成モデルを開発する。
• 多様で現実的な合成トレーニングサンプルを生成することで、下流分類器のロバスト性と一般化性能を向上させる。

提案手法

• 生成器が符号化された潜在特徴とランダムなガウスノイズの両方を用いて画像生成を行う、U-Netと条件付きGANを組み合わせた新規アーキテクチャを提案する。
• 実画像ペア（x_i, x_j）と偽物ペア（x_i, x_g）を区別するように設計されたディスクラミネータを採用し、分布の類似性を強制する。
• GANの訓練を安定化させ、収束性を向上させるために、勾配ペナルティ（λ = 10）とAdam最適化法（β₁ = 0, β₂ = 0.9）を用いる。
• 画像前処理として、軸方向ビューの抽出、256×256×3へのリサイズ、および患者単位のデータ分割（7:1:2）を実施し、トレーニング、検証、テストセットを構築する。
• 生成器とディスクラミネータを敵対的損失に基づいて同時に訓練し、生成器が実画像と生成画像の間の分布ギャップを最小化するようにする。
• 画像品質の評価にFréchet Inception Distance（FID）を、分類能の評価にピクセル単位の正解率（PA）を用い、下流分類器にはResNet-18、ResNet-50、DenseNet-161、SVMを用いる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化のファインチューニングを必要とせずに、1つの生成モデルが複数の画像モダリティにわたって高品質で多様な医用画像を生成できるか？
• RQ2 提案されたGAN-UNetアーキテクチャは、標準のGANや条件付きGANに比べて、現実的な医用画像を生成する点で優れているか？
• RQ3 本モデルが生成する合成データが、下流分類モデルの性能をどの程度向上させるか？
• RQ4 CT、X線、超音波など、異なる医用画像ドメインにおいて、モデルの安定性と一般化性能はどの程度か？

主な発見

• 提案されたGAN-UNetは、全8つのデータセットにおいて、ヴァニラGANおよび条件付きGANベースラインと比較して、最小のFréchet Inception Distance（FID）を達成し、画像品質の優位性を示した。
• 全8つのデータセットにおいて、生成画像の使用が、4つの分類器（ResNet-18、ResNet-50、DenseNet-161、SVM）の分類精度、適合率、再現率、AUCを顕著に向上させた。
• 図2の可視化結果から、本手法で生成された画像は、GANや条件付きGANの生成画像と比較して、実医用画像に類似しており、解剖学的構造やテクスチャの保持が優れていた。
• モデルは強力な一般化性能を示し、再トレーニングやドメイン適応なしに、肺CT、胸部X線、乳房超音波など多様なモダリティの高精細な画像を生成した。
• 本手法は、画像生成品質（FID）および下流分類性能の両面で最先端の性能を達成し、有効性とロバスト性を確認した。