[論文レビュー] FakeNews: GAN-based generation of realistic 3D volumetric data -- A systematic review and taxonomy

A.J.M. Ferreira, Jianning Li+4 more|arXiv (Cornell University)|Jul 4, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本システマティックレビューでは、MRI、CT、顕微鏡法などのモダリティを含む、リアルな3Dボリュメトリックデータを生成するGANベースの手法について、アーキテクチャ、損失関数、評価指標、医療および非医療分野での応用を焦点に、包括的な分析を提示している。本研究では、新しい分類法を提唱し、主な課題を特定するとともに、研究の機会を提示しており、主な成果として、MRI、CT、顕微鏡法など複数のモダリティで高精細な合成データ生成が達成され、低温電子顕微鏡（cryo-EM）シミュレーションでは10.8Åの分解能に達し、血管および髪の毛の合成において実物と区別がつかない現実性が実現されている。

ABSTRACT

With the massive proliferation of data-driven algorithms, such as deep learning-based approaches, the availability of high-quality data is of great interest. Volumetric data is very important in medicine, as it ranges from disease diagnoses to therapy monitoring. When the dataset is sufficient, models can be trained to help doctors with these tasks. Unfortunately, there are scenarios where large amounts of data is unavailable. For example, rare diseases and privacy issues can lead to restricted data availability. In non-medical fields, the high cost of obtaining enough high-quality data can also be a concern. A solution to these problems can be the generation of realistic synthetic data using Generative Adversarial Networks (GANs). The existence of these mechanisms is a good asset, especially in healthcare, as the data must be of good quality, realistic, and without privacy issues. Therefore, most of the publications on volumetric GANs are within the medical domain. In this review, we provide a summary of works that generate realistic volumetric synthetic data using GANs. We therefore outline GAN-based methods in these areas with common architectures, loss functions and evaluation metrics, including their advantages and disadvantages. We present a novel taxonomy, evaluations, challenges, and research opportunities to provide a holistic overview of the current state of volumetric GANs.

研究の動機と目的

• 医療および非医療分野におけるリアルな3Dボリュメトリックデータを生成するGANベースの手法について、包括的な概要を提供すること。
• ボリュメトリックGANで用いられる一般的なアーキテクチャ、損失関数、評価指標を特定および分析すること。
• モダリティ、応用タイプ、データ表現に基づいてボリュメトリックGANの応用を分類する新しい分類法を構築すること。
• 医療画像分野におけるデータ不足、プライバシー問題、高コストなデータ取得といった課題を浮き彫りにすること。
• 合成ボリュメトリックデータ生成分野における未解決の研究機会および今後の方向性を提示すること。

提案手法

• GANベースの3Dボリュメトリックデータ生成に関する102編の論文を対象としたシステマティックレビュー。構造化された検索およびスクリーニングプロトコルを用いて選定された。
• 応用タイプ別（2D→3D、低解像度→高解像度の再構築、セグメンテーション、分類、一般のデータ生成）に手法を分類。
• cGAN、WGAN、PGGAN、CycleGAN、3D-UNetベースのモデルを含む25種類の異なるGANアーキテクチャを分析。3D畳み込みおよび生成的対抗的学習に特に注目。
• adversarial、perceptual、cycle-consistency、再構築損失を含む18種類の損失関数、およびSSIM、PSNR、FIDを含む14種類の評価指標を評価。
• 研究結果を統合し、モダリティ、応用、データタイプ（例：MRI、CT、顕微鏡法、合成データ）に基づいて分類する新しい分類法を構築。
• 医療分野（例：脳、肺、心臓、核）、非医療分野（例：多孔質媒体、CAD、地震）の事例研究を含め、手法の多様性を示した。

実験結果

リサーチクエスチョン

• RQ1 3Dボリュメトリックデータ生成において、主に用いられるGANアーキテクチャは何か。また、医療および非医療応用において、それらはどのように異なるか。
• RQ2 生成された3Dボリュメトリックデータの現実性と忠実度を保証するために、最も効果的な損失関数と評価指標は何か。
• RQ3 現在のGANベースの手法は、医療画像分野におけるデータ不足、プライバシー問題、高コストな取得コストといった課題に対し、どのように対処しているか。
• RQ4 GANを用いた高品質な合成3Dボリュメトリックデータ生成における主な制限要因および未解決の課題は何か。
• RQ5 一般化性および臨床応用の観点から、3DボリュメトリックGAN分野における最先端技術をさらに発展させるための研究機会は何か。

主な発見

• 本レビューでは102件の関連研究を同定した。そのうち68％が医療分野に焦点を当てており、特にMRI、CT、顕微鏡法に注目が集まっている。残りの32％はCAD、地震、多孔質媒体などの非医療分野に該当する。
• cGAN、WGAN、CycleGANベースのアーキテクチャが最も一般的に用いられており、3D-UNetおよび3D-DCGANの変種は再構築およびセグメンテーションタスクで優れたパフォーマンスを示している。
• CryoGANは、合成された低温電子顕微鏡（cryo-EM）データにおいて10.8Åの分解能を達成し、バイオ分子構造の生成において高い現実性を示した。
• SpCycleGANおよびcGANベースのモデルは、腎臓およびニューロン顕微鏡画像における不規則な形態の核のセグメンテーション精度を向上させた。
• GANを用いて生成された合成血管は、実物の血管と区別がつかないほど現実的であり、血管構造の合成における高品質な再現性を示している。
• 本研究では、標準化された評価プロトコルの欠如が顕著な課題であることが判明した。FID、SSIM、PSNRが最も一般的に使用されているが、研究間で一貫性に欠けている。