[論文レビュー] Fidelity Imposed Network Edit (FINE) for Solving Ill-Posed Image Reconstruction

Jinwei Zhang, Zhe Liu+6 more|arXiv (Cornell University)|May 17, 2019

Advanced X-ray and CT Imaging参考文献 48被引用数 10

ひとこと要約

本稿では、推論中に物理的データ適合モデルを組み込むことで事前学習済みディープラーニングネットワークを微調整するFidelity Imposed Network Edit (FINE) を提案する。この手法は、不適切な神経画像診断問題における画像再構成を顕著に改善する。FINEは、テスト固有のデータ適合に基づいてネットワーク重みを変更することで、定量的感受率マッピング(QSM)およびアンダーサンプリングMRI再構成において、ぼやけを低減し、病変の可視性を向上させ、定量的指標でも優れた結果を達成する。

ABSTRACT

Deep learning (DL) is increasingly used to solve ill-posed inverse problems in imaging, such as reconstruction from noisy or incomplete data, as DL offers advantages over explicit image feature extractions in defining the needed prior. However, DL typically does not incorporate the precise physics of data generation or data fidelity. Instead, DL networks are trained to output some average response to an input. Consequently, DL image reconstruction contains errors, and may perform poorly when the test data deviates significantly from the training data, such as having new pathological features. To address this lack of data fidelity problem in DL image reconstruction, a novel approach, which we call fidelity-imposed network edit (FINE), is proposed. In FINE, a pre-trained prior network's weights are modified according to the physical model, on a test case. Our experiments demonstrate that FINE can achieve superior performance in two important inverse problems in neuroimaging: quantitative susceptibility mapping (QSM) and under-sampled reconstruction in MRI.

研究の動機と目的

• 物理的データ適合の欠如により、分布外データに対して失敗する深層学習の限界を是正すること。
• 神経画像診断における複雑な病変を伴う状況で一般的に見られるぼやけや誤差の伝播を克服すること。
• 事前学習済みネットワークの表現力は維持しつつ、テストデータとの物理的一致性を強制する手法を開発すること。
• ネットワークの再トレーニングなしに、定量的感受率マッピング(QSM)およびアンダーサンプリングMRIにおける高精度再構成を可能にすること。
• テスト固有のネットワーク編集が、標準的な推論や初期からトレーニングし直すのと比較して、より優れた結果をもたらすことを実証すること。

提案手法

• FINEは、物理的画像化モデルから導出されたデータ適合項に基づくバックプロパゲーションを用いて、推論中に事前学習済みディープニューラルネットワーク（例：U-Net）の重みを修正する。
• 本手法は、データ適合（||W(Ax - y)||²）と事前分布項を組み合わせた損失関数の最小化として再構成を定式化し、テスト入力に基づく勾配降下法によりネットワーク重みを更新する。
• 重みの更新を繰り返し適用することで、再構成画像が物理的順方向モデルと測定データを満たすように refine される。
• 本手法は、画像コンテンツや病変に最も感受性が高い高レベル層（初期および最終層）の編集に焦点を当てる。
• FINEは標準的なDLと同一のネットワークアーキテクチャを用いるが、再トレーニングを回避するため、テスト固有のデータ駆動型重み補正ステップを適用する。
• 本手法は、既知の物理モデルを有する不適切な逆問題を含む2つの神経画像診断問題（QSMおよびアンダーサンプリングk-space MRI）に適用される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのディープラーニングネットワークを、不適切な問題における再構成忠実度向上を目的に推論中に効果的に微調整できるか？
• RQ2 推論中にデータ適合を強制することで、標準的なディープラーニングや初期からトレーニングし直す場合と比較して、再構成品質がどのように向上するか？
• RQ3 FINEは、通常のDLが見過ごしてしまう出血巣のような高感受率特徴をQSMで回復できるか？
• RQ4 FINEは、アンダーサンプリングMRI再構成においてアーチファクト（アリゼーションやストリーク）を低減させつつ、微細なディテールを保持できるか？
• RQ5 FINEにおける重み更新はどの程度特定のテストケースに依存しており、どのネットワーク層が最も影響を受けるか？

主な発見

• FINEは、特に通常のディープラーニングが見過ごす傾向のある出血巣のような高感受率病変の回復を含め、定量的感受率マッピング(QSM)における再構成品質を顕著に向上させる。
• 本手法はQSMにおけるぼやけを低減し、微細なディテールを保持する。視覚的結果では、標準的なDLやディープイメージプライアと比較して、病変のコントラストが向上し、アーチファクトが減少している。
• アンダーサンプリングMRI再構成において、FINEは標準的なDLおよびL1正則化手法を上回り、アーチファクト（アリゼーション）を抑制しながらも、画像のシャープネスを維持する。
• FINEにおける重み更新は、U-Netの高レベル（初期および最終）層で顕著に現れ、本手法が患者固有の画像コンテンツおよび病変に適応していることを示している。
• 初期からトレーニングし直すディープイメージプライアは、QSMにおいて満足のいく結果を出せないことが判明し、事前学習済み重みとFINEのテスト固有編集の必要性が示された。
• 出血巣のような強い感受率源におけるFINEと真値との残差差は依然として課題であり、さらなる改善の余地がある。