[論文レビュー] Can Un-trained Neural Networks Compete with Trained Neural Networks at Image Reconstruction?

Mohammad Zalbagi Darestani, Reinhard Heckel|arXiv (Cornell University)|Jul 6, 2020

Medical Imaging Techniques and Applications参考文献 31被引用数 8

ひとこと要約

本論文は、Deep Image Prior や Deep Decoder にインspiredされた、トレーニングされていないニューラルネットワークに基づく修正された畳み込みデコーダー・アーキテクチャを提案し、FastMRI データセットにおける加速MRI再構成において、トレーニング済みの U-Net と同等のパフォーマンスを達成している。この手法は、分布外の入力に対しても強く頑健であることが示され、高品質な画像再構成のための大規模なトレーニングデータの必要性を疑問視している。

ABSTRACT

Convolutional Neural Networks (CNNs) are highly effective for image reconstruction problems. Typically, CNNs are trained on large amounts of training images. Recently, however, un-trained neural networks such as the Deep Image Prior and Deep Decoder have achieved excellent image reconstruction performance for standard image reconstruction problems such as image denoising and image inpainting, without using any training data. This success raises the question whether un-trained neural networks can compete with trained ones for practical imaging tasks. To address this question, we consider accelerated magnetic resonance imaging (MRI), an important medical imaging problem, which has received significant attention from the deep-learning community, and for which a dedicated training set exists. We study and optimize un-trained architectures, and as a result, propose a variation of the architectures of the deep image prior and deep decoder. We show that the resulting convolutional decoder out-performs other un-trained methods and---most importantly---achieves on-par performance with a standard trained baseline, the U-net, on the FastMRI dataset, a new dataset for benchmarking deep learning based reconstruction methods. Besides achieving on-par reconstruction performance relative to trained methods, we demonstrate that a key advantage over trained methods is robustness to out-of-distribution examples.

研究の動機と目的

• トレーニングされていないニューラルネットワークが、実用的な医療画像診断タスクにおいて、トレーニング済みのディープラーニングモデルと同等の性能を達成できるかどうかを調査すること。
• アンダーサンプリングされた k 空間データからの高精度な再構成を要する、加速MRI再構成という重要な医療画像診断問題に取り組むこと。
• 特に低データ量または分布シフトの状況下で、再構成品質と頑健性を向上させるために、トレーニングされていないアーキテクチャを最適化すること。
• FastMRI データセット上で、U-Net などの標準的なトレーニング済みベースラインと比較して、トレーニングされていないモデルのパフォーマンスをベンチマークすること。

提案手法

• 著者らは、Deep Image Prior や Deep Decoder に由来する、画像再構成タスクに特化した修正された畳み込みデコーダー・アーキテクチャを設計した。
• このアーキテクチャは、学習された重みを一切持たない完全畳み込み型の順方向ネットワークであり、再構成にあたってはネットワーク構造そのものが持つインダクティブ・バイアスに依存している。
• 画像データに対する事前学習を一切行わず、勾配降下法を用いて潜在コードを最適化することで再構成損失を最小化する。
• ハイパーパramータおよびアーキテクチャ的要因を最適化するための広範なアブレーションスタディを実施し、標準的なトレーニングされていないベースラインを上回るパフォーマンスを達成した。
• 最終的なモデルは、PSNR や SSIM といった標準的な指標を用いて、FastMRI データセット（MRI再構成のベンチマーク）上で評価された。
• 頑健性は、非 FastMRI スキャンや異なる加速係数を用いた分布外データでのテストにより評価された。

実験結果

リサーチクエスチョン

• RQ1 トレーニングされていないニューラルネットワークは、実世界の医療画像診断タスクにおいて、U-Net などの最先端のトレーニング済みモデルと同等の再構成性能を達成できるか？
• RQ2 アーキテクチャの変更や最適化戦略に伴い、トレーニングされていないアーキテクチャのパフォーマンスはどのように変化するか？
• RQ3 トレーニング済みモデルと比較して、トレーニングされていないモデルは分布シフトに対してどのような利点を示すか？
• RQ4 大規模なトレーニングデータを必要とせずに、高精度な再構成忠実度を維持できるか？

主な発見

• 提案されたトレーニングされていない畳み込みデコーダーは、FastMRI データセット上で、PSNR や SSIM による測定において、トレーニング済みの U-Net ベースラインと同等の再構成性能を達成した。
• 従来の Deep Image Prior や Deep Decoder といった他の既存のトレーニングされていないアーキテクチャよりも、再構成品質および収束速度の両面で優れた性能を示した。
• トレーニングされていないモデルは、異なる加速係数や非 FastMRI スキャンタイプを含む、分布外の入力に対しても顕著に高い頑健性を示した。
• トレーニングデータや学習された重みが存在しないため、未観測のデータ分布への一般化能力が向上し、これはトレーニング済みモデルと比較して顕著な利点である。