[論文レビュー] Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction

Bhavya Vasudeva, Puneesh Deora+2 more|arXiv (Cornell University)|Feb 24, 2020

Sparse and Compressive Sensing Techniques参考文献 55被引用数 7

ひとこと要約

本稿では、複素数値のMRIデータを直接処理し、マグニチュードと位相情報を複素数値の演算および新しい位相感受性活性化関数を通じて保持する複素数値の生成的対抗ネットワーク、Co-VeGANを提案する。この手法は、複数のデータセットおよびスキャンパターンにおいて、顕著に少ないパラメータ数で、最先端の再構成品質を達成し、PSNRおよびmSSIMスコアが優れている。

ABSTRACT

Compressive sensing (CS) is widely used to reduce the acquisition time of magnetic resonance imaging (MRI). Although state-of-the-art deep learning based methods have been able to obtain fast, high-quality reconstruction of CS-MR images, their main drawback is that they treat complex-valued MRI data as real-valued entities. Most methods either extract the magnitude from the complex-valued entities or concatenate them as two real-valued channels. In both the cases, the phase content, which links the real and imaginary parts of the complex-valued entities, is discarded. In order to address the fundamental problem of real-valued deep networks, i.e. their inability to process complex-valued data, we propose a novel framework based on a complex-valued generative adversarial network (Co-VeGAN). Our model can process complex-valued input, which enables it to perform high-quality reconstruction of the CS-MR images. Further, considering that phase is a crucial component of complex-valued entities, we propose a novel complex-valued activation function, which is sensitive to the phase of the input. Extensive evaluation of the proposed approach on different datasets using various sampling masks demonstrates that the proposed model significantly outperforms the existing CS-MRI reconstruction techniques in terms of peak signal-to-noise ratio as well as structural similarity index. Further, it uses significantly fewer trainable parameters to do so, as compared to the real-valued deep learning based methods.

研究の動機と目的

• 既存の深層学習手法が、位相情報を破棄することで複素数値のMRIデータを実数値として扱うという、CS-MRI再構成における根本的限界を是正すること。
• 実部と虚部の間の相関関係を保持しながら、複素数値データをエンドツーエンドで処理可能な深層学習フレームワークの開発。
• 位相の変動に感受性を持つ学習可能な複素数値活性化関数を導入し、再構成品質の向上。
• 高い性能を維持しながら、トレーニング可能なパラメータ数を最小限に抑えることで、モデルの複雑さを低減。
• 異なる解剖的構造およびスキャンパターン、特に未学習のデータに対するゼロショット推論を含む、汎用性の検証。

提案手法

• 提案されたCo-VeGANフレームワークは、生成器および判別器全体で複素数値演算を採用し、マグニチュードのみまたは実部・虚部チャネルの連結を経由せずに、複素数値kスペースデータを直接処理可能にしている。
• MRIにおける位相依存特徴をモデル化する能力を高めるために、入力の位相に感受性を持つ新しい複素数値活性化関数、PC-SS（位相一貫性シグモイド）を導入。
• スキップ接続を備えたU-Netベースの生成器と、局所的特徴の回復を促進するパッチベースのパッチ判別器を用い、対抗訓練を実施。
• L1損失、マルチスケールSSIM（mSSIM）、ウェーブレットベース損失（Lwvt）を損失関数に組み込み、データ整合性および構造的忠実性を強制。
• 再構成された画像が取得済みのkスペース測定値と整合するように、スキャン演算子の随伴を介したデータ整合性損失を訓練プロセスに統合。
• hallucination を低減し、リアルな再構成を実現するため、対抗的損失、知覚的損失、再構成損失の組み合わせを用いてエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 位相情報を保持することで、複素数値のGANフレームワークは、実数値の深層学習手法を上回り、圧縮センシングMRI再構成において優れた性能を発揮できるか？
• RQ2 位相感受性の複素数値活性化関数は、標準的な実数値活性化関数と比較して、再構成品質にどのように寄与するか？
• RQ3 Co-VeGANは、異なる解剖的構造およびスキャンパターン、特にゼロショット推論において、どの程度汎用性を示すか？
• RQ4 Co-VeGANは、既存のSOTA手法と比較して、より少ないパラメータ数で優れた再構成品質を達成できるか？
• RQ5 ウェーブレットベース損失および構造的類似度損失の統合は、再構成画像における微細な解剖的詳細の保持にどのように影響するか？

主な発見

• MICCAI 2013データセットでは、30%のサンプリングレートでPSNR 45.678 dB、mSSIM 0.9927を達成し、既存手法を顕著に上回った。
• fastMRIデータセットでは、30%のサンプリングレートでPSNR 34.593 dB、mSSIM 0.7893を達成し、臨床的品質のデータに対して強い性能を示した。
• ゼロショット推論に対しても良好な汎用性を示し、MICCAI 2013チャレンジの犬の脚画像に対して、微調整なしでPSNR 42.949 dB、mSSIM 0.9864を達成した。
• 実数値SOTA手法と比較して、トレーニング可能なパラメータ数が顕著に少なかったため、ストレージおよび計算負荷が大幅に低減された。
• 視覚的結果では、ズームインした領域で再構成画像と真値画像との差がほぼゼロに近く、微細な詳細の保持および最小限のホールーシュレーションが確認された。
• 専門放射線科医が、再構成画像が真値画像と診断上区別できないことを確認し、アーチファクトや捏造された構造の兆候は一切認めなかった。