[論文レビュー] A Transfer-Learning Approach for Accelerated MRI using Deep Neural Networks

Salman Ul Hassan Dar, Muzaffer Özbey+2 more|arXiv (Cornell University)|Oct 6, 2017

Advanced MRI Techniques and Applications被引用数 9

ひとこと要約

本論文では、大規模な公開データセット（例：ImageNet や脳 MRI スキャン）で事前学習を行い、限られたターゲットドメインデータで微調整することで、わずか数十枚の被検体固有の MR 画像のみを用いて、高品質な高速 MRI 再構成を達成できる転移学習フレームワークを提案する。この手法は、数千枚の画像で訓練されたネットワークと同等の性能を達成し、大規模でドメイン特化したデータセットへの依存を顕著に低減する。

ABSTRACT

Purpose: Neural networks have received recent interest for reconstruction of undersampled MR acquisitions. Ideally network performance should be optimized by drawing the training and testing data from the same domain. In practice, however, large datasets comprising hundreds of subjects scanned under a common protocol are rare. The goal of this study is to introduce a transfer-learning approach to address the problem of data scarcity in training deep networks for accelerated MRI. Methods: Neural networks were trained on thousands of samples from public datasets of either natural images or brain MR images. The networks were then fine-tuned using only few tens of brain MR images in a distinct testing domain. Domain-transferred networks were compared to networks trained directly in the testing domain. Network performance was evaluated for varying acceleration factors (2-10), number of training samples (0.5-4k) and number of fine-tuning samples (0-100). Results: The proposed approach achieves successful domain transfer between MR images acquired with different contrasts (T1- and T2-weighted images), and between natural and MR images (ImageNet and T1- or T2-weighted images). Networks obtained via transfer-learning using only tens of images in the testing domain achieve nearly identical performance to networks trained directly in the testing domain using thousands of images. Conclusion: The proposed approach might facilitate the use of neural networks for MRI reconstruction without the need for collection of extensive imaging datasets.

研究の動機と目的

• 高速 MRI 再構成のための深層ニューラルネットワークの訓練におけるデータ不足の課題に対処すること。
• MRI 再構成ネットワークの訓練に、大規模でドメイン特化したデータセットを必要としない制限を克服すること。
• 一般画像ドメイン（例：ImageNet）や公開 MR データセットからの知識を、新しい限られたターゲット MRI ドメインに効果的に転送すること。
• わずか数十枚のターゲットドメイン MR 画像での微調整が、数千枚の画像で訓練されたネットワークと同等の性能を達成できることを示すこと。
• データ収集負荷を軽減することで、臨床現場における深層学習の実用的導入を促進すること。

提案手法

• 自然画像（ImageNet）や脳 MRI 画像を含む大規模な公開データセットで深層ニューラルネットワークを事前学習する。
• 新しいターゲットドメイン（例：T1 または T2 加重スキャン）からわずか数十枚の MR 画像を用いて、事前学習済みネットワークを微調整する。
• 空間的詳細を保持するためのスキップ接続を備えた U-Net に類似したアーキテクチャを画像再構成に用いる。
• 微調整の際には、標準的な最適化手法（例：Adam）を適用し、ネットワーク重みをターゲット MRI ドメインに適応させる。
• 加速要因（2～10）と訓練サンプルサイズ（0.5k～4k）の変動に対して性能を評価する。
• 同じターゲットドメインで訓練されたネットワークと比較して、転移学習の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層ニューラルネットワークが、最小限の微調整データで新しい MRI ドメインに適応できるか？
• RQ2 わずか数十枚のターゲットドメイン画像しか利用できない状況で、転移学習の性能はエンドツーエンド学習と比べてどうなるか？
• RQ3 T1 加重と T2 加重の異なる MRI コントラスト間で、転移学習は一般化可能か？
• RQ4 転移学習によって、大規模で被検体特化した MRI データセットの必要性をどの程度低減できるか？
• RQ5 自然画像データセット（例：ImageNet）からの転移学習が、効果的な MRI 再構成をもたらすか？

主な発見

• わずか 10～100 枚のターゲットドメイン MR 画像で微調整したネットワークが、4,000 枚の画像で事後学習したネットワークとほぼ同等の再構成品質を達成した。
• 転移学習により、T1 加重と T2 加重の MR 画像間のドメインギャップが成功裏に埋められ、クロスコントラスト再構成が可能になった。
• 加速要因 2～10 の範囲で性能が安定し、画像品質の低下が最小限に抑えられた。
• ImageNet から脳 MRI 画像への転移学習が良好な結果をもたらし、クロスドメイン事前学習の可能性を示した。
• 従来の訓練手法と比較して、高品質な再構成に必要な訓練データ量を最大 90% 減少させることができた。
• ターゲットドメインでわずか 10 枚の画像での微調整でも、競争力のあるピーク信号対雑音比（PSNR）と構造的類似性（SSIM）値が達成された。