[論文レビュー] Synthesizing Diverse Lung Nodules Wherever Massively: 3D Multi-Conditional GAN-based CT Image Augmentation for Object Detection

Changhee Han, Yoshiro Kitamura+7 more|arXiv (Cornell University)|Jan 19, 2019

Lung Cancer Diagnosis and Treatment参考文献 37被引用数 20

ひとこと要約

本論文は、3D CTスキャン内での所望の位置、サイズ、アッセプタンスレベルに、現実的で多様な肺結節を合成する3Dマルチ条件付きGAN（MCGAN）を提案する。この手法は、3Dオブジェクト検出のためのトレーニングデータを拡張することを目的としている。文脈的リアリズムを評価するディスクリミネーターと、サイズ・アッセプタンスの条件を満たすディスクリミネーターの2つを採用することで、MCGANは視覚的チューリングテストにおいて、実際の結節と区別がつかない結節を生成し、固定された偽陽性率のもとで、あらゆる結節サイズおよびアッセプタンスレベルにおいて検出感度を顕著に向上させた。

ABSTRACT

Accurate Computer-Assisted Diagnosis, relying on large-scale annotated pathological images, can alleviate the risk of overlooking the diagnosis. Unfortunately, in medical imaging, most available datasets are small/fragmented. To tackle this, as a Data Augmentation (DA) method, 3D conditional Generative Adversarial Networks (GANs) can synthesize desired realistic/diverse 3D images as additional training data. However, no 3D conditional GAN-based DA approach exists for general bounding box-based 3D object detection, while it can locate disease areas with physicians’ minimum annotation cost, unlike rigorous 3D segmentation. Moreover, since lesions vary in position/size/attenuation, further GAN-based DA performance requires multiple conditions. Therefore, we propose 3D Multi-Conditional GAN (MCGAN) to generate realistic/diverse 32 × 32×32 nodules placed naturally on lung Computed Tomography images to boost sensitivity in 3D object detection. Our MCGAN adopts two discriminators for conditioning: the context discriminator learns to classify real vs synthetic nodule/surrounding pairs with noise box-centered surroundings; the nodule discriminator attempts to classify real vs synthetic nodules with size/attenuation conditions. The results show that 3D Convolutional Neural Network-based detection can achieve higher sensitivity under any nodule size/attenuation at fixed False Positive rates and overcome the medical data paucity with the MCGAN-generated realistic nodules—even expert physicians fail to distinguish them from the real ones in Visual Turing Test.

研究の動機と目的

• 3Dオブジェクト検出器を訓練するための、大規模かつ多様なアノテーション付き3D肺CTデータセットの不足を解決すること。
• 位置、サイズ、アッセプタンスに精密な制御が可能な、3D条件付きGANフレームワークを構築すること。
• 偽陽性率を増加させることなく、あらゆる結節特性において3D CNNベースの結節検出感度を向上させること。
• 専門医による視覚的チューリングテストとt-SNE可視化を用いて、生成された結節のリアリズムと分布的忠実度を評価すること。
• 医療画像におけるGANベースのデータ拡張において、最適なデータ拡張比と損失関数を特定すること。

提案手法

• MCGANは、ボクシングボックスマスク、サイズ、アッセプタンス値を条件として、CTボリューム内に32×32×32の結節を合成する3Dジェネレーターネットワークを用いる。
• 2つのディスクリミネーターを採用：文脈ディスクリミネーターは、実際の結節周囲組織ペアと合成されたペアを評価し、結節ディスクリミネーターは、サイズおよびアッセプタンスの条件下で実際の結節と合成された結節を分類する。
• ジェネレーターは、両ディスクリミネーターを欺くために adversarial loss を用いて訓練され、ℓ1再構成損失は使用しないことで多様性を維持する。
• データ拡張は、トレーニング中に実際の結節と合成結節を1:1の比率で組み合わせることで実施され、分布への影響をバランスさせる。
• リアリズムの検証は、2名の専門医による視覚的チューリングテストを用いて実施され、合成結節と実際の結節を評価する。
• t-SNE可視化を用いて、実際の結節と合成結節の特徴分布を比較し、実データ多様体のカバー度を評価する。

実験結果

リサーチクエスチョン

• RQ1 3D GANをどのように条件付けすれば、完全なセグメンテーションを必要とせずに、3D CTスキャン内に所望の位置、サイズ、アッセプタンスレベルに多様な病理的オブジェクト（例：結節）を自然に配置できるか？
• RQ2 3Dオブジェクト検出における検出性能を最大化するための、実データと合成データの最適なバランスは何か？
• RQ3 特にℓ1損失の欠如が、生成された結節のリアリズムと多様性、および下流の検出性能に与える影響は何か？
• RQ4 専門放射線科医が、MCGANによって生成された合成結節を実際の結節と区別できる程度はどの程度か？
• RQ5 t-SNE解析によって示されるように、MCGANが生成した合成データは、実結節分布の未表現領域を効果的にカバーできているか？

主な発見

• MCGANが生成した合成結節は、専門医による視覚的チューリングテストで79％の識別精度を示し、実際の結節とほとんど区別がつかないことを示した。
• 固定された偽陽性率のもとで、あらゆる結節サイズおよびアッセプタンスカテゴリにおいて検出感度が向上し、特に大きな結節および低アッセプタンス結節で最も顕著な向上が観察された。
• 実データ対合成データの1:1の比率でトレーニングした場合が最適な検出性能を示し、過剰な合成データの導入は分布の不均衡により性能を低下させた。
• ℓ1損失をトレーニング中に除去することで、多様性が向上し、検出感度が向上したが、画素単位のリアリズムはわずかに低下した。
• t-SNE可視化により、特にℓ1損失を除いたトレーニングで生成された合成結節は、実際の結節とやや類似した分布を示し、かつ従来未表現であったデータ多様体の領域をカバーしていたことが確認された。
• MCGANは、周囲の肺組織が明示的にセグメンテーションされていなくても、自然に周囲組織と融合する結節を生成でき、ボクシングボックスベースの検出に向けたリアルな拡張を可能にした。