[論文レビュー] Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network

Ziyue Xu, Xiaosong Wang+6 more|arXiv (Cornell University)|Jul 8, 2019

Cell Image Analysis Techniques被引用数 11

ひとこと要約

本稿では、CT画像と遺伝子発現プロファイルを統合して、エンドツーエンドでリアルな肺結節を生成するマルチ条件付き生成対抗ネットワーク（GAN）を提案する。画像とゲノムデータを複数スケールで統合し、高精細な合成結節を生成するとともに、判別性の高いレディオゲノムマップを学習する。ベースライン手法と比較して、よりリアルな結節と、遺伝子と画像の相関関係が向上していることを示している。

ABSTRACT

Radiogenomic map linking image features and gene expression profiles is useful for noninvasively identifying molecular properties of a particular type of disease. Conventionally, such map is produced in three separate steps: 1) gene-clustering to "metagenes", 2) image feature extraction, and 3) statistical correlation between metagenes and image features. Each step is independently performed and relies on arbitrary measurements. In this work, we investigate the potential of an end-to-end method fusing gene data with image features to generate synthetic image and learn radiogenomic map simultaneously. To achieve this goal, we develop a generative adversarial network (GAN) conditioned on both background images and gene expression profiles, synthesizing the corresponding image. Image and gene features are fused at different scales to ensure the realism and quality of the synthesized image. We tested our method on non-small cell lung cancer (NSCLC) dataset. Results demonstrate that the proposed method produces realistic synthetic images, and provides a promising way to find gene-image relationship in a holistic end-to-end manner.

研究の動機と目的

• 従来の3段階に分かれたレディオゲノムマッピングの限界を克服する。これは、画像特徴と遺伝子発現を独立して処理するためである。
• 画像とゲノム表現を同時に学習しながら、リアルな結節を生成するエンドツーエンドフレームワークを開発する。
• 下流の遺伝子発現プロファイルに従って、外観が制御可能なデータ駆動型の結節合成を可能にする。
• GANを用いた統合学習が、逐次的かつ独立した処理よりも、より判別性があり生物学的に意味のある遺伝子-画像相関関係をもたらすことを実証する。

提案手法

• 背景CT画像と遺伝子発現プロファイルを入力として、結節を含む画像と対応するセグメンテーションマスクを合成する生成器を備えたマルチ条件付きGANを設計する。
• 画像と遺伝子特徴を別々に符号化し、空間的一致性とリアリズムを確保するため、複数の解像度レベルで新しい統合ブロックを用いて統合する。
• 生成器は、グローバルディスクリミネーター、画像固有のディスクリミネーター、および画像-セグメンテーション-ゲノムの統合ディスクリミネーターを備えたマルチディスクリミネーター構造で訓練され、リアリズムと一貫性を強制する。
• マスクされた領域における合成画像と元の背景との間のL1距離を用いて、背景再構成損失を適用し、構造的整合性を保持する。
• スタイリングに基づく条件付け機構を採用し、遺伝子発現プロファイルが生成器の特徴マップを調整することで、結節の外観に対する精密な制御を可能にする。
• 訓練目的関数は、敵対的損失と再構成損失を組み合わせており、生成器損失には画像、マスク、および背景の忠実度に寄与する項が含まれる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、エンドツーエンドでリアルな肺結節を同時に生成し、レディオゲノム相関関係を学習できるか？
• RQ2 画像と遺伝子特徴のマルチスケール統合は、標準的なインpaintingベースのGANと比較して、合成結節のリアリズムと制御可能性をどのように向上させるか？
• RQ3 t-SNEを用いて可視化した、GANアーキテクチャを通じて学習された遺伝子表現の潜在表現は、生物学的に意味のあるクラスタリングを示すか？
• RQ4 提案手法は、従来の3段階パイプラインと比較して、より判別性の高い遺伝子-画像関連性を生成するか？
• RQ5 遺伝子プロファイルに条件付けすることで、合成画像における結節の形状やテクスチャの制御はどの程度可能になるか？

主な発見

• 提案手法は、ベースライン手法と比較して、よりリアルな合成結節を生成し、背景との統合が良好で、結節周辺のアーティファクトが少ない。
• 学習された遺伝子コード（128次元）のt-SNE可視化では、明確なクラスタリングが観察され、モデルが遺伝子空間における生物学的に関連する構造を捉えていることが示された。
• 一方、生の遺伝子ベクトル（5172次元）およびベースライン手法の遺伝子コードには明確なクラスタリングが認められず、表現学習が不十分であることが示唆された。
• モデルは特定の遺伝子クラスタを、結節の形状や境界のなめらかさといった明確な画像特徴に関連付ける能力を学習している。
• マルチディスクリミネーター訓練構造により、画像の忠実度と一貫性が向上し、再構成誤差が低く抑えられ、敵対的性能が向上した。
• エンドツーエンドフレームワークにより、画像とゲノム特徴の直接的かつ包括的な相関関係が実現され、従来のパイプラインにおける部分最適な特徴選択やモデル依存性の問題を回避できる。