[論文レビュー] A Multi-Stage GAN for Multi-Organ Chest X-ray Image Generation and Segmentation

Giorgio Ciano|arXiv (Cornell University)|Nov 14, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 50被引用数 25

ひとこと要約

本論文は、対応するセマンティックセグメンテーションラベルを併せ持つ合成マルチオルガントウチレントゲン画像を生成するための三段階GANフレームワークを提案する。まず解剖学的「ドット」を生成し、次にラベルマップを生成し、最後にPGGANとpix2pixHDを用いた段階的精錬によってX線画像を生成することで、訓練データの10％のみでさえも、単一段階および二段階ベースラインを上回る最先端のセグメンテーション性能を達成した。

ABSTRACT

Multi-organ segmentation of X-ray images is of fundamental importance for computer aided diagnosis systems. However, the most advanced semantic segmentation methods rely on deep learning and require a huge amount of labeled images, which are rarely available due to both the high cost of human resources and the time required for labeling. In this paper, we present a novel multi-stage generation algorithm based on Generative Adversarial Networks (GANs) that can produce synthetic images along with their semantic labels and can be used for data augmentation. The main feature of the method is that, unlike other approaches, generation occurs in several stages, which simplifies the procedure and allows it to be used on very small datasets. The method was evaluated on the segmentation of chest radiographic images, showing promising results. The multi-stage approach achieves state-of-the-art and, when very few images are used to train the GANs, outperforms the corresponding single-stage approach.

研究の動機と目的

• 胸部レントゲン画像分類のための深層学習モデルのトレーニングに必要なラベル付き医療画像の不足に対処する。
• 医療画像におけるアノテート済みデータの制限を克服するために、合成的で高品質なトレーニングデータを生成する。
• 解剖学的正確性を保持するとともにセグメンテーション性能を向上させるデータ拡張戦略を開発する。
• 小規模データセットにおいても、単一段階および二段階アプローチよりもマルチステージ生成プロセスがより効果的であることを示す。

提案手法

• 本手法は三段階GANパイプラインを採用する：まず解剖的部位の位置を「ドット」として生成し、次にpix2pixHDを用いてドットをセマンティックラベルマップに変換し、最後にラベルマップから完全なX線画像を生成する。
• 初期段階では、プログレッシブに成長するGAN（PGGAN）を用いて低解像度の解剖的ドットマップを生成する。
• pix2pixHDは第二段階および第三段階で、ドットからラベルマップへの条件付き画像対画像変換、およびラベルマップからX線画像への変換を実行する。
• 各段階は独立してトレーニングされるため、トレーニングが簡素化され、各サブタスクにおけるデータ要件が低減される。
• 本フレームワークにより、多様で現実的であるが、正確なセグメンテーションマスクを併せ持つ合成画像のデータ拡張が可能になる。
• 本アプローチはモジュール型かつスケーラブルであり、他の解剖的構造や画像モodalitiesへの拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 限られた実データからのみ、リアルなマルチオルガントウチレントゲン画像と正確なセマンティックセグメンテーションマスクを生成できるマルチステージGANフレームワークは構築可能か？
• RQ2 ドット → ラベルマップ → 画像という段階的生成プロセスは、エンドツーエンド生成と比較して性能向上をもたらすか？
• RQ3 トレーニングデータの10％のみを用いた場合、本手法は単一段階および二段階ベースラインと比較して、セグメンテーション精度で優れているか？
• RQ4 臨床医は、実際のマスクと生成されたマスクを信頼性を持って区別できるか？生成出力は臨床的期待に合致しているか？

主な発見

• 三段階手法は、マルチオルガントウチレントゲン画像セグメンテーションのSCRベンチマークデータセットにおいて、最先端の性能を達成した。
• データセットの10％でのトレーニングでも、三段階アプローチは二段階および単一段階ベースラインを上回るセグメンテーション精度を示した。
• 臨床医による評価では、生成されたセグメンテーションマスクの高品質さが確認され、難易度の高いケースでは専門家がモデル出力を実マスクよりも好むことが多かった。
• 定性的な評価において、臨床医は生成されたセグメンテーションが特に心臓および肺の縁をより正確に保持していると指摘した。
• 高セグメンテーション難易度のケースにおいても、本手法は頑健性と臨床的妥当性を示し、画像品質に関する専門家の合意が得られた。
• マルチステージ設計は、小規模データセットにおける性能を顕著に向上させ、段階的生成により複雑性が低減され、学習効率が向上することを裏付けた。