[論文レビュー] Red-GAN: Attacking class imbalance via conditioned generation. Yet another medical imaging perspective

Ahmad Bin Qasim, Ivan Ezhov+8 more|arXiv (Cornell University)|Apr 22, 2020

Digital Media Forensic Detection被引用数 33

ひとこと要約

Red-GAN は、画素レベルのセグメンテーションマスクとグローバル属性（例：病変タイプやスキャンプロトコル）の両方に条件付けた条件付き生成対抗ネットワークを提案し、クラスの不均衡を軽減する。敵対的訓練にパassingセグメンテーション器を統合することで、現実的でクラス固有の画像を合成し、BraTSおよびISICデータセットにおけるセグメンテーション精度を向上させる。

ABSTRACT

Exploiting learning algorithms under scarce data regimes is a limitation and a reality of the medical imaging field. In an attempt to mitigate the problem, we propose a data augmentation protocol based on generative adversarial networks. We condition the networks at a pixel-level (segmentation mask) and at a global-level information (acquisition environment or lesion type). Such conditioning provides immediate access to the image-label pairs while controlling global class specific appearance of the synthesized images. To stimulate synthesis of the features relevant for the segmentation task, an additional passive player in a form of segmentor is introduced into the adversarial game. We validate the approach on two medical datasets: BraTS, ISIC. By controlling the class distribution through injection of synthetic images into the training set we achieve control over the accuracy levels of the datasets' classes.

研究の動機と目的

• 限られた実際のサンプルしかない医療画像データセットにおけるクラス不均衡を解消すること。
• クラス固有の画像特徴を保持するデータ拡張戦略を開発すること。
• 低データ環境下でのマイノリティクラスにおけるセグメンテーションモデルの性能を向上させること。
• セグメンテーションのための特徴の関連性をガイドするために、パassingセグメンテーターを GAN 訓練に統合すること。
• BraTS および ISIC のような実世界の医療画像ベンチマークで、この手法を検証すること。

提案手法

• Red-GAN は、画素レベル（セグメンテーションマスク）およびグローバルレベル（例：病変タイプや取得プロトコル）の二重条件付けを用いた条件付き GAN フレームワークを採用する。
• 生成器は、セグメンテーションマスクとグローバル属性の両方に条件付けられており、これによりクラス固有の外観を持つ画像が合成される。
• セグメンテーションのための特徴の関連性を高めるために、敵対的ゲームの第二のプレイヤーとしてパassingセグメンテーターが導入される。
• 生成器と識別器は敵対的に訓練され、セグメンテーターはパラメータの更新を行わず、フィードバックを提供する。
• 合成画像が訓練セットに挿入され、クラス分布の再平衡化とモデルの一般化性能の向上が図られる。
• 本手法は、BraTS（脳腫瘍セグメンテーション）および ISIC（皮膚病変分類）データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 二重条件付けを施した条件付き GAN は、クラス不均衡下での医療画像セグメンテーションにおけるデータ効率を向上させることができるか？
• RQ2 パassingセグメンテーターの組み込みが、セグメンテーションタスクにおける生成画像の品質および関連性にどのように影響するか？
• RQ3 合成データの挿入は、医療画像におけるマイノリティクラスの性能低下をどの程度軽減できるか？
• RQ4 グローバルレベルの条件付け（例：病変タイプ）は、生成されたサンプルにおけるクラス固有の画像特徴を保持できるか？
• RQ5 本手法は、神経画像診断と皮膚科分野を含む多様な医療画像分野に一般化可能か？

主な発見

• Red-GAN は、ターゲット分布と一致する現実的でクラス固有の画像を生成することで、クラス不均衡を効果的に軽減した。
• パassingセグメンテーターの統合により、セグメンテーションタスクにおける生成特徴の関連性が向上した。
• 合成画像の挿入により、特に代表が不足しているクラスにおいて、セグメンテーション精度に顕著な向上が見られた。
• 本手法は、BraTS および ISIC データセットの両方で一貫した性能向上を達成し、クロスドメイン適用性を示した。
• 二重条件付けによる制御された生成により、画像の忠実性や診断的妥当性を損なわずに、ターゲット指向の拡張が可能になった。
• マイノリティクラスにおけるセグメンテーション F1 スコアの観点から、本手法はベースラインのデータ拡張戦略を上回った。