[論文レビュー] Efficient and Accurate MRI Super-Resolution using a Generative Adversarial Network and 3D Multi-Level Densely Connected Network

Yuhua Chen, Feng Shi+4 more|arXiv (Cornell University)|Mar 4, 2018

Advanced Image Processing Techniques参考文献 4被引用数 24

ひとこと要約

本稿では、低分解能入力からの高分解能MRIを効率的かつ正確に再構築するために、GAN誘導型学習を用いた3次元マルチレベル密接続スーパーリソリューションネットワーク（mDCSRN）を提案する。このアーキテクチャにより、従来手法と比較して6倍高速な推論が可能であり、1,113例の被験者からなるデータセットで4倍分解能低下済みMR画像の回復において最先端の性能を達成した。

ABSTRACT

High-resolution (HR) magnetic resonance images (MRI) provide detailed anatomical information important for clinical application and quantitative image analysis. However, HR MRI conventionally comes at the cost of longer scan time, smaller spatial coverage, and lower signal-to-noise ratio (SNR). Recent studies have shown that single image super-resolution (SISR), a technique to recover HR details from one single low-resolution (LR) input image, could provide high-quality image details with the help of advanced deep convolutional neural networks (CNN). However, deep neural networks consume memory heavily and run slowly, especially in 3D settings. In this paper, we propose a novel 3D neural network design, namely a multi-level densely connected super-resolution network (mDCSRN) with generative adversarial network (GAN)-guided training. The mDCSRN quickly trains and inferences and the GAN promotes realistic output hardly distinguishable from original HR images. Our results from experiments on a dataset with 1,113 subjects show that our new architecture beats other popular deep learning methods in recovering 4x resolution-downgraded im-ages and runs 6x faster.

研究の動機と目的

• 長時間のスキャン時間、空間的カバレッジの低下、信号対雑音比（SNR）の低下という制限要因により、高分解能（HR）MRIスキャンの取得が困難であるという課題に対処する。
• 単一画像スーパーリソリューション（SISR）におけるMRIに用いられる従来の3次元ディープニューラルネットワークの計算効率の低さと高いメモリ消費量を克服する。
• 高分解能画像再構築における高い忠実度を維持しつつ、軽量でありながら強力な3次元ニューラルネットワークアーキテクチャを開発する。
• 生成的対抗ネットワーク（GAN）学習を統合し、再構築されたMRI画像の知覚的リアリズムを向上させる。
• 臨床的および定量的画像診断用途に適した、高い精度と推論速度を両立する。

提案手法

• 複数スケール間での特徴量の再利用を可能にする密なスキップ接続を備えた3次元マルチレベル密接続スーパーリソリューションネットワーク（mDCSRN）を設計する。
• 3次元MRボリューム内のマルチスケールの解剖学的詳細を捉えるために、ネットワークの複数レベルにわたり階層的な特徴量学習戦略を実装する。
• 再構築された高分解能画像の知覚的品質を向上させるために、生成的対抗ネットワーク（GAN）損失を統合する。この損失は、実際の高分解能スキャンと再構築画像を区別するのを目的としている。
• ピixeL単位の再構築精度を確保するためのL1損失と、テクスチャーや構造のリアリズムを向上させるための対抗損失を組み合わせた損失関数を用いてネットワークを学習する。
• パrameter数と計算複雑性を最小限に抑えることで、推論効率を最適化する。同時に、空間分解能を保持する。
• 再構築されたMRIボリュームにおけるボリュメトリックな文脈と空間的一致性を維持するために、ネットワーク全体に3次元畳み込み層を活用する。

実験結果

リサーチクエスチョン

• RQ1 3次元密接続ニューラルネットワークアーキテクチャは、計算効率を維持したまま、MRI再構築における優れたスーパーリソリューション性能を達成できるか？
• RQ2 GAN誘導型学習は、標準的なL1ベースの学習と比較して、再構築された高分解像MRIの知覚的品質をどの程度向上させるか？
• RQ3 提案されたmDCSRNは、3次元MRIデータにおいて、従来のディープラーニングベースのSISR手法と比較して、再構築精度と推論速度の両面で優れているか？
• RQ4 mDCSRNアーキテクチャにおけるマルチレベル特徴量統合は、低分解能MRIスキャンからの微細な解剖学的構造の回復を向上させるか？
• RQ5 提案手法は、1,113名の被験者からなる大規模データセットにおいて、従来手法の6倍速い性能を達成しつつ、最先端の性能を実現できるか？

主な発見

• GAN学習を用いた提案されたmDCSRNは、1,113名の被験者からなるデータセットにおいて、4倍分解像に劣化したMRI画像のスーパーリソリューションで最先端の性能を達成した。
• 他のディープラーニングベースのSISR手法と比較して、推論時間に6倍の高速化を達成し、計算効率が顕著に向上した。
• GAN部が再構築画像の知覚的品質を向上させ、実際の高分解像MRIスキャンと見分けることすら困難な外観を実現した。
• マルチレベルの密接続構造により、特徴量の伝搬と勾配の流れが改善され、再構築ボリューム内の微細な解剖学的構造の保存が向上した。
• 定量的評価では、ベースラインモデルと比較してPSNRおよびSSIM指標で優れた性能を示し、より高い再構築精度を確認した。
• 多様な解剖学的領域およびスキャンプロトコルにわたり高い一般化能力を維持したため、臨床現場での堅牢性が示された。