[論文レビュー] An Adversarial Learning Approach to Medical Image Synthesis for Lesion Detection

Liyan Sun, Jiexiang Wang+4 more|arXiv (Cornell University)|Oct 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 16

ひとこと要約

本稿では、ペaired学習データを必要とせず、病変を含む画像を正常な外観の画像に変換する条件付き生成対抗ネットワーク、ANT-GANを提案する。サイクル整合性と異常マスク正則化を活用することで、病変領域を適切に変更しながら健常領域を保持する現実的な健康画像を生成し、病変のセグメンテーションや分類の性能を向上させる。また、合成された異常画像の生成により、データが限られた状況におけるデータ拡張も可能にする。

ABSTRACT

The identification of lesion within medical image data is necessary for diagnosis, treatment and prognosis. Segmentation and classification approaches are mainly based on supervised learning with well-paired image-level or voxel-level labels. However, labeling the lesion in medical images is laborious requiring highly specialized knowledge. We propose a medical image synthesis model named abnormal-to-normal translation generative adversarial network (ANT-GAN) to generate a normal-looking medical image based on its abnormal-looking counterpart without the need for paired training data. Unlike typical GANs, whose aim is to generate realistic samples with variations, our more restrictive model aims at producing a normal-looking image corresponding to one containing lesions, and thus requires a special design. Being able to provide a "normal" counterpart to a medical image can provide useful side information for medical imaging tasks like lesion segmentation or classification validated by our experiments. In the other aspect, the ANT-GAN model is also capable of producing highly realistic lesion-containing image corresponding to the healthy one, which shows the potential in data augmentation verified in our experiments.

研究の動機と目的

• 病変検出において、異常をラベルづける作業が時間的にかかる上に専門知識を要するため、限られたラベル付き医用画像データの課題に対処すること。
• ペア化された学習データに依存せずに、異常なスキャン画像から現実的で病変のない医用画像を生成する手法を開発すること。
• 「正常」な参照画像を補助情報として提供することで、病変セグメンテーションや分類などの医用画像解析タスクの性能を向上させること。
• モデルが健常入力からも現実的な病変を含む画像を合成できるという二重の機能を検証し、データが少ない状況でのデータ拡張を支援すること。

提案手法

• 病変画像を健康な画像に変換する異常→正常変換のための条件付き生成対抗ネットワーク（ANT-GAN）を提案する。
• 損失関数に二値の異常マスク項を導入し、健常領域を保持しながら病変領域の変更を明示的にガイドする。
• 訓練の安定化と特徴の学習向上を図るため、逆方向の正常→異常生成器を訓練することでサイクル整合性を強制する。
• 実際の健康画像と生成された健康画像を区別できるように discriminator を使用し、出力の現実性を保証する。
• ペア化された実際の/正常な画像を必要とせず、敵対的損失、サイクル整合性損失、異常マスク正則化を統合して、エンドツーエンドでモデルを訓練する。
• 訓練済みモデルを活用し、偽の正常画像および偽の異常画像を生成することで、下流タスクにおけるデータ拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ペア化された学習データがなくても、GANベースのモデルが異常なスキャン画像から現実的で病変のない医用画像を生成できるか？
• RQ2 提案された異常マスク正則化は、病変領域を変更しながら健常組織を保持するのにどの程度効果的か？
• RQ3 生成された正常画像は、病変セグメンテーションや分類の性能をどの程度向上できるか？
• RQ4 訓練済みモデルは健常入力からも現実的な病変を含む画像を生成できるか？また、その能力はデータ拡張にどのように寄与するか？
• RQ5 ANT-GANモデルは、さまざまな画像モodal（例：MRI と CT）および解剖的領域（脳と肝臓）でどの程度の性能を示すか？

主な発見

• ANT-GANは、病変を含むMRIスキャン画像から、非常に現実的な外観の正常画像を生成でき、入力と出力の差分マップでは病変領域が明確に強調されている。
• 健常入力画像に適用した場合、生成器の出力は入力とほぼ同一であり、病変が誤って導入されていないことが確認された。
• BratS18データセットにおいて、50枚の合成正常画像と50枚の合成異常画像を含む拡張データで分類器を学習させたところ、F1スコアが12.2%向上（64.4%から77.6%）した。
• モデルは画像モダリティを越えて汎用的であり、脳のMRI（T1, T1ce, T2）および肝臓のCTスキャンにおいても妥当な結果を生成したが、CTでは病変のコントラストが低いためやや変形が目立った。
• 異常マスクパラメータ λ_AM = 10 が、病変の変更と健常組織の保持の両立において最良のバランスを示した。
• 訓練済みの N2A 生成器は、解剖学的に妥当な領域に局在する病変を含む現実的な画像を効果的に合成でき、モデルのデータ拡張への潜在的価値を示している。