[論文レビュー] Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)

Lei Bi, Jinman Kim+3 more|arXiv (Cornell University)|Jul 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 24

ひとこと要約

本稿では、腫瘍のアノテーションとCT解剖情報の両方を統合的に活用して病変の生成と空間的一致性をガイドすることで、現実的なPET画像を合成するマルチチャネル生成対抗ネットワーク（M-GAN）を提案する。この手法により、高精細な合成PETスキャンが得られ、腫瘍検出モデルの学習に用いた場合、実データを用いた場合と比較して52.38%のリCALLを達成し、わずか2.79%の差にとどまる。これは、PETベースの機械学習における学習データ強化の強力な可能性を示している。

ABSTRACT

Positron emission tomography (PET) image synthesis plays an important role, which can be used to boost the training data for computer aided diagnosis systems. However, existing image synthesis methods have problems in synthesizing the low resolution PET images. To address these limitations, we propose multi-channel generative adversarial networks (M-GAN) based PET image synthesis method. Different to the existing methods which rely on using low-level features, the proposed M-GAN is capable to represent the features in a high-level of semantic based on the adversarial learning concept. In addition, M-GAN enables to take the input from the annotation (label) to synthesize the high uptake regions e.g., tumors and from the computed tomography (CT) images to constrain the appearance consistency and output the synthetic PET images directly. Our results on 50 lung cancer PET-CT studies indicate that our method was much closer to the real PET images when compared with the existing methods.

研究の動機と目的

• 腫瘍学における機械学習モデルの学習に必要なアノテーション付きPET画像データの不足を解決すること。
• 従来の合成PET手法の限界（解剖的正確性の欠如、正確な腫瘍領域の生成不能）を克服すること。
• 腫瘍アノテーションとCT画像を統合した統一されたディープラーニングフレームワークを構築し、解剖学的に整合性のある高取り込みPET画像を合成すること。
• 合成PETデータが、肺がんにおける頑健な腫瘍検出モデルの学習に実データを効果的に補完できるかどうかを評価すること。

提案手法

• CT画像と腫瘍セグメンテーションラベルの両方を入力として用いるマルチチャネルGANアーキテクチャを採用し、合成PET画像を生成する。
• 生成器とディスクラミネーターの対抗学習により、高レベルの意味的表現を学習し、画像の現実性を向上させる。
• ラベル情報を統合して高取り込み領域（例：腫瘍）の生成をガイドし、CTデータを用いて解剖学的整合性と空間的構造を強制する。
• 画像品質を保証するため、生成器が周囲的損失および再構成損失（平均絶対誤差（MAE）とピークサイナルノイズレシオ（PSNR）を含む）を最小化するように訓練する。
• 50例の肺がんPET-CTスキャンにM-GANを適用し、合成データを生成。その後、その合成データを用いて、腫瘍検出のための完全畳み込みネットワーク（FCN）を学習する。
• 交差検証を用い、データを学習用とテスト用に分割。一方のグループから得た合成データでFCNを学習し、他方のグループの実画像でテストする。

実験結果

リサーチクエスチョン

• RQ1 マルチチャネルGANは、解剖学的構造と腫瘍特有の取り込みパターンを保持した現実的なPET画像を効果的に合成できるか？
• RQ2 CTと腫瘍ラベルの両方の入力を組み合わせることで、単一入力のGANと比較して、合成PET画像の現実性と整合性がどのように向上するか？
• RQ3 M-GANで生成された合成PET画像を用いることで、実データと比較して腫瘍検出モデルの性能がどの程度向上するか？
• RQ4 画像品質および下流タスクのパフォーマンスの観点から、M-GANの合成データは他のGANバージョン（例：LB-GAN、CT-GAN）と比較してどのように差をつけるか？

主な発見

• M-GANは、すべてのGANバージョンの中で最小の平均絶対誤差（MAE）4.60と最大のピークサイナルノイズレシオ（PSNR）28.06を達成し、優れた画像品質を示した。
• M-GANが生成した合成PET画像は、LB-GANやCT-GANに比べ、顕著に優れた解剖学的正確性と腫瘍局在性を示した。一方、LB-GANやCT-GANは構造のずれや欠落した病変を示した。
• M-GANの合成データで学習したFCNモデルは52.38%のリCALLを達成し、実PETデータで学習したモデル（55.17%）と比較してわずか2.79%低いにとどまった。
• M-GANは、LB-GAN（44.06%リCALL）およびCT-GAN（3.69%リCALL）を上回り、ラベルとCTの共同ガイドの有効性を実証した。
• M-GANフレームワークは、縦隔など難しい領域においても、正しい解剖学的場所に腫瘍を効果的に生成できた。CT-GANは同様の領域で失敗した。
• 結果から、M-GANで生成された合成データは、実データの補完として効果的に機能し、PETベースのコンピュータ支援診断システムの学習強化に貢献できることが示唆された。