[論文レビュー] MRI Super-Resolution with GAN and 3D Multi-Level DenseNet: Smaller, Faster, and Better

Yuhua Chen, Anthony Christodoulou+4 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Image Processing Techniques参考文献 53被引用数 31

ひとこと要約

軽量な3D多層密結合SRネットワーク（mDCSRN）とGANガイド付きバージョン（mDCSRN-GAN）をMRI超解像に提案し、大規模なHCPデータセットで低メモリと高速性を持ちながら最先端の精度を達成。

ABSTRACT

High-resolution (HR) magnetic resonance imaging (MRI) provides detailed anatomical information that is critical for diagnosis in the clinical application. However, HR MRI typically comes at the cost of long scan time, small spatial coverage, and low signal-to-noise ratio (SNR). Recent studies showed that with a deep convolutional neural network (CNN), HR generic images could be recovered from low-resolution (LR) inputs via single image super-resolution (SISR) approaches. Additionally, previous works have shown that a deep 3D CNN can generate high-quality SR MRIs by using learned image priors. However, 3D CNN with deep structures, have a large number of parameters and are computationally expensive. In this paper, we propose a novel 3D CNN architecture, namely a multi-level densely connected super-resolution network (mDCSRN), which is light-weight, fast and accurate. We also show that with the generative adversarial network (GAN)-guided training, the mDCSRN-GAN provides appealing sharp SR images with rich texture details that are highly comparable with the referenced HR images. Our results from experiments on a large public dataset with 1,113 subjects showed that this new architecture outperformed other popular deep learning methods in recovering 4x resolution-downgraded images in both quality and speed.

研究の動機と目的

• 低解像度入力から高解像MRI再構成を促し、長いスキャン時間と限られたカバレージを緩和する。
• 3D解剖学的な詳細を保持するメモリ効率の高い高速な3D CNNアーキテクチャを開発する。
• GANベースのトレーニングを取り入れて知覚品質を向上させ、リアルなテクスチャを回復する。
• 大規模な公開データセットでプラットフォームとスキャナーを跨る頑健性と一般化能力を示す。

提案手法

• DenseNetをベースにした3Dマルチレベル密結合SRネットワーク（mDCSRN）を提案し、マルチレベル密結合とメモリ使用を削減する圧縮モジュールを導入。
• 各DenseBlockの前にボトルネック1x1x1圧縮機を組み込み、深さと幅のバランスを取り、パラメータを削減。
• 再構成時に直接特徴量を組み合わせ、すべてのDenseBlock出力を1x1x1畳み込みで統合して勾配フローと効率を改善。
• 生成器がmDCSRN、識別器がWGAN-GPベースのネットワークであるmDCSRN-GANを訓練し、SR結果の perceptualリアリズムを向上。
• L1強度損失とGAN対立損失を組み合わせた損失関数（lambda = 0.1）で最適化。
• k-spaceでMRIダウンサンプリングをシミュレートしてLR-HRペアを生成し、SR性能を評価。

実験結果

リサーチクエスチョン

• RQ1 低解像度入力からMRIの高品質な4x SRを達成するメモリ効率の高い3D密結合ネットワークは可能か。
• RQ2 GAN指向の訓練は定量的精度を犠牲にせずMRI SRの知覚品質を向上させるか。
• RQ3 多層密結合と圧縮モジュールは、従来の3D SRネットワークと比較してメモリ使用量・速度・性能にどのような影響を与えるか。
• RQ4 提案手法は大規模公開データセット上でスキャナーとプラットフォームを跨って頑健か。

主な発見

PSNR	SSIM	NRMSE	#Parm	time(s)
NN	29.48 ± 0.81	0.8219 ± 0.0113	0.2007 ± 0.0071	N/A	N/A
Bicubic	30.30 ± 0.82	0.8420 ± 0.0105	0.1830 ± 0.0067	N/A	N/A
FSRCNN	34.33 ± 0.81	0.9207 ± 0.0062	0.1142 ± 0.0050	0.06M	15.57
SRResNet	36.09 ± 0.82	0.9425 ± 0.0052	0.0939 ± 0.0043	2.01M	107.16
SRDenseNet	35.93 ± 0.82	0.9413 ± 0.0052	0.0955 ± 0.0044	0.39M	17.95
b4u4k12	36.08 ± 0.82	0.9418 ± 0.0052	0.0935 ± 0.0044	0.23M	12.54
b6u4k12	36.31 ± 0.82	0.9438 ± 0.0051	0.0915 ± 0.0043	0.35M	19.60
b8u4k12	36.39 ± 0.82	0.9448 ± 0.0050	0.0906 ± 0.0043	0.49M	27.86

• mDCSRNは、いくつかのベースラインよりもパラメータ数が大幅に少なく、実行時間が速い状態で競合的なPSNR/SSIMを達成。
• より深いまたはより広い構成は性能を向上させるが、浅くメモリ制約のあるmDCSRNは速度と精度のトレードオフで有利。
• mDCSRN-GANは知覚的によりシャープなSR画像と豊かなテクスチャを提供し、知覚指標は非GANモデルと比較して視覚品質の改善を示す。
• HCPデータセット（1113人の被験者）では、mDCSRNのバリアントが補間および従来のCNNベースSISRモデルよりも定量指標（PSNR/SSIM/NRMSE）で上回り、実行も速い。
• 直接の特徴量組み合わせ再構成層は、従来の再構成より同等かそれ以上の性能を、パラメータ数を抑えて達成。
• GANガイド付き訓練は、プラットフォームとスキャナーを跨って頑健なSR性能を提供。