[論文レビュー] Self Super-Resolution for Magnetic Resonance Images using Deep Networks

Can Zhao, Aaron Carass+2 more|arXiv (Cornell University)|Feb 26, 2018

Advanced Image Processing Techniques参考文献 8被引用数 7

ひとこと要約

本稿では、外部の学習データを必要とせず、T1強調MRIに対して自己教師あり超解像を実現するEDSSRを提案する。低分解能スキャンから高分解能画像を生成するため、軸方向スライスをぼかして合成された低分解能パッチを生成し、Fourierバースト蓄積（FBA）を用いたEDSR深層ネットワークを活用することで、被検体内からの自己教師あり学習が可能となり、画像の透過方向分解能が著しく向上する。PSNRとSSIMにおいて、補間法や従来の自己教師あり手法を上回り、それぞれ最大3.5 dBおよび0.014の向上を達成した。

ABSTRACT

High resolution magnetic resonance~(MR) imaging~(MRI) is desirable in many clinical applications, however, there is a trade-off between resolution, speed of acquisition, and noise. It is common for MR images to have worse through-plane resolution~(slice thickness) than in-plane resolution. In these MRI images, high frequency information in the through-plane direction is not acquired, and cannot be resolved through interpolation. To address this issue, super-resolution methods have been developed to enhance spatial resolution. As an ill-posed problem, state-of-the-art super-resolution methods rely on the presence of external/training atlases to learn the transform from low resolution~(LR) images to high resolution~(HR) images. For several reasons, such HR atlas images are often not available for MRI sequences. This paper presents a self super-resolution~(SSR) algorithm, which does not use any external atlas images, yet can still resolve HR images only reliant on the acquired LR image. We use a blurred version of the input image to create training data for a state-of-the-art super-resolution deep network. The trained network is applied to the original input image to estimate the HR image. Our SSR result shows a significant improvement on through-plane resolution compared to competing SSR methods.

研究の動機と目的

• MRIスキャンにおける撮影時間とSNR制約による透過方向分解能の限界という臨床的課題に対処すること。
• 通常入手困難であり、強度や分解能が不一致であることが多いため、外部の高分解能アトラス画像に依存しないこと。
• 入力画像のみから学習する自己教師あり超解像フレームワークを構築し、分布シフトや過学習を回避すること。
• T1強調MRIにおける高周波数の透過方向の詳細を回復させることで、画像品質と診断精度を向上させること。

提案手法

• 入力MRIボリュームの軸方向スライスを透過方向にぼかすことにより、合成された低分解能学習データを生成する。
• これらの合成低分解能パッチから、元の画像から導出された高分解能パッチへのマッピングを学習するため、EDSR深層ニューラルネットワークを用いる。
• 学習済みネットワークを入力画像の冠状断面および矢状断面に適用し、それらの方向における高分解能バージョンを予測する。
• 複数の方向からの予測を統合するために、Fourierバースト蓄積（FBA）を用い、最終的な整合性のある高分解能ボリュームを生成する。
• 実臨床でのMRIスライス厚さに適応できる非整数ダウンスケーリング要因をサポートする。
• 合成データで事前学習することで、再訓練を最小限に抑え、新しいデータセットへの微調整が可能となるトランスファー学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 外部の高分解能アトラスデータを必要としない深層超解像ネットワークは、MRIにおける高品質な透過方向分解能向上を達成できるか？
• RQ2 外部アトラスに基づく学習と比較して、内部画像統計に依存する自己教師あり学習の画像品質と一般化性能はどのように異なるか？
• RQ3 臨床的MRIに一般的に見られる非整数ダウンスケーリング要因（例：k ≈ 2.65）は、自己教師あり超解像フレームワークで効果的に処理できるか？
• RQ4 複数の画像方向からの予測を統合する際、Fourierバースト蓄積（FBA）の使用は再構成の忠実度を向上させるか？
• RQ5 被検体とアトラス画像間の強度および分解能の不一致によって引き起こされる過学習は、この手法によってどの程度軽減されるか？

主な発見

• 3mmスライス厚さの場合、EDSSRは平均PSNRが34.44 dBを達成し、BSP（31.98 dB）およびSSR [11]（33.49 dB）を統計的有意差（p < 0.05）で大きく上回った。
• 3mm入力の場合、EDSSRは平均SSIMが0.9773を達成し、SSR [11]（0.9678）およびBSP（0.9635）を上回り、構造的保持性に優れた結果を示した。
• 実際の2.20mmスライス厚さデータにおける視覚的比較では、EDSSRはBSPおよびSSR [11]と比較して、より鋭いエッジとより繊細な解剖学的詳細を再現した。
• 本手法は非整数ダウンスケーリング要因（例：k ≈ 2.65）に対しても頑健であることが示され、EDSRが整数スケーリングを必要とするのとは対照的であった。
• 新しいデータセットに微調整する際、トランスファー学習により学習時間を50–90%短縮でき、被検体およびスキャナ間での迅速な適応が可能となった。
• 自己教師ありアプローチにより、学習データとテストデータ間の強度不一致の問題が解消され、臨床現場における過学習の低減と一般化性能の向上が達成された。