[論文レビュー] Brain MRI super-resolution using 3D generative adversarial networks

Irina Sánchez, Verónica Vilaplana|arXiv (Cornell University)|Dec 29, 2018

Advanced Image Processing Techniques参考文献 11被引用数 44

ひとこと要約

この論文は高解像度3D MRIボリュームを低解像度入力から生成するための3D GANベースのアプローチ（SRGAN風）を提示し、三つのアップサンプリング戦略を探求し、リアリズムとシャープネスを向上させるために敵対的損失とコンテンツ損失の組み合わせを使用します。

ABSTRACT

In this work we propose an adversarial learning approach to generate high resolution MRI scans from low resolution images. The architecture, based on the SRGAN model, adopts 3D convolutions to exploit volumetric information. For the discriminator, the adversarial loss uses least squares in order to stabilize the training. For the generator, the loss function is a combination of a least squares adversarial loss and a content term based on mean square error and image gradients in order to improve the quality of the generated images. We explore different solutions for the upsampling phase. We present promising results that improve classical interpolation, showing the potential of the approach for 3D medical imaging super-resolution. Source code available at https://github.com/imatge-upc/3D-GAN-superresolution

研究の動機と目的

• ハードウェアまたはプロトコルの制限がある場合に高解像度MRIを動機づける。
• 体積的なMRI情報を活用する3Dの敵対的フレームワークを開発する。
• 医用画像の超解像のための3D GAN内で異なるアップサンプリング戦略を評価する。
• 画像品質を改善するために敵対的損失と内容損失および勾配ベースの項を組み合わせる。

提案手法

• 生成器と識別器に3D畳み込みを用いてSRGANを3Dに拡張する。
• 安定化のために最小二乗GAN（LSGAN）損失を使用する。
• 敵対項とコンテンツ損失（MSEと勾配差損失）を組み合わせた生成器損失を採用する。
• 三つのアップサンプリング手法を調査する：リサイズ畳込み、サブピクセル（ピクセルシャッフル）、およびチェッカーボードアーチファクトを緩和した variant（Subpixel-NN）。
• メモリ制約のあるパッチベースの学習でADNI T1強調MRIボリュームからのパッチで訓練する。

実験結果

リサーチクエスチョン

• RQ1 体積情報を活用する3D GANは従来の補間を上回ることができるか？3D MRI超解像において。
• RQ2 3D MRI SRにおいて、知覚品質と数値指標の間で最適なトレードオフを提供するアップサンプリング戦略はどれか？
• RQ3 LS-GAN損失と勾配ベースのコンテンツ項が生成体のリアリズムとシャープネスにどう影響するか？
• RQ4 提案手法のPSNR/SSIMの利得はダウンサンプリング因子2および4でどの程度か？
• RQ5 生成ボリュームに臨床解釈へ影響を与える有意な知覚的差があるか？

主な発見

Upsample Factor	Method	PSNR	SSIM
x2	Cubic spline interpolation	39.11	0.9913
x2	Resize convolution	39.09	0.9898
x2	Subpixel	39.28	0.9849
x2	Subpixel-NN	39.28	0.9849
x4	Cubic spline interpolation	33.33	0.9688
x4	Resize convolution	32.86	0.9638
x4	Subpixel	33.58	0.9582
x4	Subpixel-NN	33.58	0.9770

• 3D GANベースの手法はダウンサンプリング因子2および4で、3次スプライン補間よりPSNRとSSIMの双方を改善します。
• アップサンプリング戦略の中で、x2およびx4ではリサイズ畳込みが最良のSSIM（知覚品質）を、サブピクセル系は競争力のあるPSNRを達成。
• Subpixel-NNはチェッカーボードアーティファクトを低減し、競合手法に近いSSIMを維持しつつ競争力のあるPSNRを維持。
• x4ダウンサンプリングで平均PSNR値はリサイズ畳込みとSubpixel-NN法で最高（それぞれ33.33と33.58）、対応するSSIMはそれぞれ0.9688と0.9770。
• これらの結果は3D医用画像超解像の可能性を示し、特に高いダウンサンプリング因子で従来法より知覚品質が向上する。