[論文レビュー] Class-Aware Adversarial Lung Nodule Synthesis in CT Images

Jie Yang, Siqi Liu+8 more|arXiv (Cornell University)|Dec 28, 2018

Lung Cancer Diagnosis and Treatment参考文献 12被引用数 5

ひとこと要約

本稿では、制御可能な悪性度ラベルと形態的多様性を備えたCT画像における肺結節の合成を目的としたクラスに特化した生成対抗ネットワーク（GAN）フレームワークを提案する。粗い段階から細かい段階への生成器と二重のクラスに特化した識別器を用いることで、不均衡な訓練データに合成結節を追加した際、悪性度分類のAUCが2%向上する。

ABSTRACT

Though large-scale datasets are essential for training deep learning systems, it is expensive to scale up the collection of medical imaging datasets. Synthesizing the objects of interests, such as lung nodules, in medical images based on the distribution of annotated datasets can be helpful for improving the supervised learning tasks, especially when the datasets are limited by size and class balance. In this paper, we propose the class-aware adversarial synthesis framework to synthesize lung nodules in CT images. The framework is built with a coarse-to-fine patch in-painter (generator) and two class-aware discriminators. By conditioning on the random latent variables and the target nodule labels, the trained networks are able to generate diverse nodules given the same context. By evaluating on the public LIDC-IDRI dataset, we demonstrate an example application of the proposed framework for improving the accuracy of the lung nodule malignancy estimation as a binary classification problem, which is important in the lung screening scenario. We show that combining the real image patches and the synthetic lung nodules in the training set can improve the mean AUC classification score across different network architectures by 2%.

研究の動機と目的

• CT画像を用いた肺結節分類におけるデータ不足とクラスの不均衡を解決すること。
• 特定の悪性度ラベルと形態的特徴を有する結節を生成できる制御可能な合成手法を開発すること。
• 合成データ拡張を用いて、希少な悪性結節分類のためのディープラーニングモデルの性能を向上させること。
• 合成結節が不均衡データセットにおけるモデルの汎化性とロバスト性を向上させることの有効性を実証すること。

提案手法

• 二段階の生成器ネットワーク（G1およびG2）が、文脈的なCT特徴量とランダムノイズを用いて、マスクされた肺結節領域を粗い段階から細かい段階へ内挿する。
• 生成器は、マスク領域および完全なパッチの両方におけるL1再構成損失を組み合わせて訓練され、構造的整合性を確保する。
• 局所的リアリズムとグローバルな一貫性を強制するために、それぞれに補助分類ヘッドを備えた二つの識別器（局所的およびグローバル）が使用される。
• フレームワークは悪性度ラベルおよび結節サイズに条件付けられており、悪性度と形態の両方を制御可能である。
• 実際の悪性パッチと潜在変数ノイズに条件付けたことで合成結節が生成され、その後実データと組み合わせて訓練に使用される。
• 本手法は、3D CNN（ResNetおよびResNeXt）を用い、標準的な訓練プロトコルに従ってLIDC-IDRIデータセット上で評価された。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、制御可能な悪性度ラベルを備えたリアルなCT画像上の肺結節を生成できるか？
• RQ2 クラスに特化した合成が、不均衡データセットにおける悪性度分類モデルの性能を向上させるか？
• RQ3 合成結節は、従来のデータ拡張やクラスウェイトの手法を上回る汎化性とAUC向上を実現できるか？
• RQ4 形態およびテクスチャの観点から、生成された結節の品質と多様性は実際の結節と比較してどうか？

主な発見

• 提案されたフレームワークは、明示された悪性度ラベルと多様な形態を有する多様な肺結節を効果的に生成でき、定性的な結果から明らかである。
• 実データのみを用いた場合と比較して、訓練データに合成結節を追加したことで、複数の3D CNNアーキテクチャにおける平均AUCスコアが2%向上した。
• 合成データで微調整したResNet-152モデルは、AUC 0.8812を達成し、ベースラインモデルおよび重み付き損失モデルを上回った。
• 合成データ拡張戦略は、評価されたすべてのアーキテクチャにおいて一貫してAUCを向上させたが、クラスウェイトはより良い性能をもたらさなかった。
• 補助分類ヘッドを備えた二重識別器の構成は、生成器がリアルでクラスに整合した結節を生成するのを効果的に導いた。
• 本手法は、肺結節以外の医療画像オブジェクトの合成に対しても汎用性を示す可能性を有する。