[論文レビュー] Deep Generative Adversarial Networks for Compressed Sensing Automates MRI

Morteza Mardani, Enhao Gong+9 more|arXiv (Cornell University)|May 31, 2017

Advanced Image Processing Techniques参考文献 17被引用数 131

ひとこと要約

GANCS は、歴史的 MRI データで訓練された生成器–識別器 GAN を用いて、 undersampled k-space から診断品質の高い MR 画像を再構成し、リアルタイム速度を実現するとともに、従来の CS 法よりも品質が優れている。

ABSTRACT

Magnetic resonance image (MRI) reconstruction is a severely ill-posed linear inverse task demanding time and resource intensive computations that can substantially trade off {\it accuracy} for {\it speed} in real-time imaging. In addition, state-of-the-art compressed sensing (CS) analytics are not cognizant of the image {\it diagnostic quality}. To cope with these challenges we put forth a novel CS framework that permeates benefits from generative adversarial networks (GAN) to train a (low-dimensional) manifold of diagnostic-quality MR images from historical patients. Leveraging a mixture of least-squares (LS) GANs and pixel-wise $\ell_1$ cost, a deep residual network with skip connections is trained as the generator that learns to remove the {\it aliasing} artifacts by projecting onto the manifold. LSGAN learns the texture details, while $\ell_1$ controls the high-frequency noise. A multilayer convolutional neural network is then jointly trained based on diagnostic quality images to discriminate the projection quality. The test phase performs feed-forward propagation over the generator network that demands a very low computational overhead. Extensive evaluations are performed on a large contrast-enhanced MR dataset of pediatric patients. In particular, images rated based on expert radiologists corroborate that GANCS retrieves high contrast images with detailed texture relative to conventional CS, and pixel-wise schemes. In addition, it offers reconstruction under a few milliseconds, two orders of magnitude faster than state-of-the-art CS-MRI schemes.

研究の動機と目的

• undersampling 下での ill-posed inverse problems に対処して、リアルタイム MRI 再構成を動機づける。
• GAN を用いて、歴史的データから診断品質の MR 画像の低次元マニフォールドを学習する。
• learned manifold にエイリアス画像を射影しつつデータ整合性を確保する。
• リアルタイム撮像に適した高速で非反復的な再構成パイプラインを提供する。

提案手法

• スキップ接続を備えたディープ残差ネットワークを用いて、aliased MRI（undersampled k-space の逆フーリエ変換）を診断品質のマニフォールドに写像する生成器 G を訓練する。
• 多層 CNN を用いて、診断品質で画像を評価する識別器 D を訓練する。
• LSGAN の目的関数とピクセル単位の l1 項を組み合わせて、高周波のテクスチャを回復しつつノイズを抑制する（LS 損失と l1 の混合）。
• データ整合性投影を組み込み、G の出力を y ≈ Φx を満たすように修正する。ソフト/反復投影を残差ブロックの枠組みで行う。
• 訓練中にミニバッチを用いて、D と G を交互に更新する確率的交互最小化を用いる。

実験結果

リサーチクエスチョン

• RQ1 GANCS による知覚的損失は、画素値ベースの l1/l2 コストと比較して画像品質においてどのような違いを生むか。
• RQ2 GANCS は従来の CS MRI と比べて診断品質を損なうことなく再構成を速くできるか。
• RQ3 ネットワークは MRI マニフォールドを表現し、エイリアシングアーティファクトを抑制する際にどんな画像特徴を学習するか。
• RQ4 reasonable reconstruction quality に達するために、どれだけの訓練サンプルが必要か。

主な発見

Scheme	SNR (dB)	SSIM	Recon. time (s)
ZF	15.28	0.72	0.0005
CS-WV	20.74	0.88	5.27
CS-TV	21.33	0.87	1.51
l2-net	18.96	0.81	0.02
l1-net	18.64	0.79	0.02
GAN	16.6	0.78	0.02
GANCS	20.48	0.87	0.02

• GANCS は CS-WV、CS-TV、l2-net、l1-net よりも高コントラストでテクスチャが豊かな再構成を実現し、微細構造をよく保持する。
• GANCS の再構成時間は約 10 ミリ秒程度で、リアルタイム性能（≈100 フレーム/秒）を実現。
• GANCS は専門放射線科医が gold-standard に近いと評価する診断品質の画像を生み出し、知覚指標で従来の CS を上回った。
• 標準的 CS ツールボックスと比較して、GANCS は速度向上を実現しつつ、知覚品質およびテクスチャディテールを維持または改善。
• GANCS は GAN を介した学習マニフォールドとデータ整合性投影を活用して、アーチファクト除去と測定値忠実性のバランスを取っている。