[論文レビュー] CT-Realistic Lung Nodule Simulation from 3D Conditional Generative Adversarial Networks for Robust Lung Segmentation

Dakai Jin, Ziyue Xu+3 more|arXiv (Cornell University)|Jun 11, 2018

Lung Cancer Diagnosis and Treatment被引用数 24

ひとこと要約

本稿では、周囲の肺組織を条件として、現実的な肺結節を生成するための新しいマルチマスク再構成損失を備えた3次元条件付き生成対抗ネットワーク（CGAN）を提案する。この手法により、病理的肺領域分類のロバスト性が向上し、P-HNNモデルの外周部結節に対する性能が向上し、Diceスコアが0.964から0.989に向上し、ハウスドルフ距離が2.4mm減少した。

ABSTRACT

Data availability plays a critical role for the performance of deep learning systems. This challenge is especially acute within the medical image domain, particularly when pathologies are involved, due to two factors: 1) limited number of cases, and 2) large variations in location, scale, and appearance. In this work, we investigate whether augmenting a dataset with artificially generated lung nodules can improve the robustness of the progressive holistically nested network (P-HNN) model for pathological lung segmentation of CT scans. To achieve this goal, we develop a 3D generative adversarial network (GAN) that effectively learns lung nodule property distributions in 3D space. In order to embed the nodules within their background context, we condition the GAN based on a volume of interest whose central part containing the nodule has been erased. To further improve realism and blending with the background, we propose a novel multi-mask reconstruction loss. We train our method on over 1000 nodules from the LIDC dataset. Qualitative results demonstrate the effectiveness of our method compared to the state-of-art. We then use our GAN to generate simulated training images where nodules lie on the lung border, which are cases where the published P-HNN model struggles. Qualitative and quantitative results demonstrate that armed with these simulated images, the P-HNN model learns to better segment lung regions under these challenging situations. As a result, our system provides a promising means to help overcome the data paucity that commonly afflicts medical imaging.

研究の動機と目的

• 医療画像におけるデータ不足、特に外周部肺結節のようなレアまたは複雑な病理的症例に対して対処すること。
• 肺境界に接する結節で困難を示すP-HNNモデルの病理的肺領域分類のロバスト性を向上させること。
• 条件付きGANを用いて、周囲組織と自然に融合する高精細で文脈に配慮した肺結節を生成すること。
• GANで合成されたデータが、訓練を補完し、エッジケースにおける分類性能を向上させることの有効性を評価すること。

提案手法

• 中央部の結節領域を削除したボリュームオブインタレスト（VOI）を条件として、3次元条件付きGANを訓練し、結節を生成する。
• 生成器は、周囲VOIからの文脈的組織特徴に基づいて結節を再構成する、U-Netに類似したアーキテクチャを採用する。
• 生成された結節と周囲組織との間で現実的な外観と境界の一貫性を強制するため、新しいマルチマスク再構成損失を導入する。
• 複数のバイナリマスクを組み合わせて、異なる空間スケールで再構成をガイドすることで、境界アーチファクトを低減する。
• 敵対的損失とマルチマスクL1損失を用いて、LIDCデータセットの1,000個以上の結節でCGANを訓練する。
• 転移学習戦略を用いて、特に外周部結節のようなエッジケースのためのP-HNNモデルのファインチューニングに、シミュレートされた結節を生成する。

実験結果

リサーチクエスチョン

• RQ1 3次元条件付きGANは、CTスキャンにおける周囲肺組織と文脈的に整合する現実的な肺結節を生成できるか？
• RQ2 マルチマスク再構成損失を組み込むことで、標準的なL1損失や敵対的損失と比較して、生成された結節の現実性と融合品質が向上するか？
• RQ3 GANで生成された合成結節は、P-HNNのような判別型分類モデルの、困難な外周部結節症例における性能を効果的に向上させられるか？
• RQ4 合成データの品質は、病理的画像における肺領域分類モデルの一般化性能およびロバスト性にどのように影響するか？

主な発見

• 提案されたマルチマスク損失を備えたCGANは、自然な融合と最小限の境界アーチファクトを伴う高品質で現実的な結節を生成し、L1のみやIsolaらの手法を上回る性能を示した。
• CGANで生成されたデータによるP-HNNモデルのファインチューニングにより、外周部結節における平均Diceスコアが0.964から0.989に向上した。
• ハウスドルフ距離が2.4mm減少し、平均表面距離が1.2mm減少した。これは境界の整合性が向上したことを示している。
• 改善効果は特に最悪ケースにおいて顕著で、エッジケースに対するロバスト性の向上が確認された。
• 本手法は、文脈的に正確で多様な合成結節を生成することで、医療画像分野におけるデータボトルネックを効果的に解決した。
• 可視化結果から、CGANデータでファインチューニングされたP-HNNモデルは、外周部結節においてより正確で解剖学的に妥当な分類マスクを生成することが確認された。