[論文レビュー] Deep Image Reconstruction using Unregistered Measurements without Groundtruth

Weijie Gan, Yu Sun+4 more|arXiv (Cornell University)|Sep 29, 2020

Medical Imaging Techniques and Applications参考文献 16被引用数 4

ひとこと要約

本稿では、教師あり学習の限界を克服するため、アーティファクトを含む未登録のMRI測定値から、教師画像を必要とせずに画像再構成と非剛性アライメントを同時に実行する新規な非教師付き深層学習手法U-Dreamを提案する。2本のCNNアーキテクチャを用いて再構成画像と動き場を同時に学習することで、25%の undersampling 条件下で強い変形が生じる状況においても、PSNRで最大1.3 dB、SSIMで0.02向上する最先端の性能を達成した。

ABSTRACT

One of the key limitations in conventional deep learning based image reconstruction is the need for registered pairs of training images containing a set of high-quality groundtruth images. This paper addresses this limitation by proposing a novel unsupervised deep registration-augmented reconstruction method (U-Dream) for training deep neural nets to reconstruct high-quality images by directly mapping pairs of unregistered and artifact-corrupted images. The ability of U-Dream to circumvent the need for accurately registered data makes it widely applicable to many biomedical image reconstruction tasks. We validate it in accelerated magnetic resonance imaging (MRI) by training an image reconstruction model directly on pairs of undersampled measurements from images that have undergone nonrigid deformations.

研究の動機と目的

• 医療画像における教師あり深層学習の重大な制限、すなわち訓練に大規模かつ正確に登録済みの教師画像を必要とすることを解決すること。
• 高品質な教師画像を必要とせず、未登録でアーティファクトを含む測定値から直接エンドツーエンドで画像再構成ネットワークを訓練できる手法を開発すること。
• 生の測定ペアのみを用いて、弱教師付きの方法で画像再構成と非剛性画像アライメントを同時に最適化すること。
• 特に顕著な被検者運動に起因する変形が生じる状況下でも、アーティファクトを低減し、微細構造を保持することで画像品質を向上させること。

提案手法

• U-Dreamは二重ブランチCNNアーキテクチャを採用する：一方のブランチ（h_θ）は未登録のk-space測定値からアーティファクトを含む画像を再構成し、もう一方のブランチ（g_φ）は再構成画像ペア間の非剛性変形場を推定する。
• 測定値のk-spaceドメインにおける予測値と実際の測定値の差を最小化することで再構成ネットワークを訓練し、前方測定モデルと整合性を保つ損失関数を用いる。
• 画像ワープ処理にはスパティアルトランスフォーマーネットワーク（STN）を採用し、学習中に微分可能な画像アライメントを実現する。
• 教師画像を一切必要とせず、同じ被検者の未登録かつアンダーサンプリングされたk-spaceデータペアを用いて2つのネットワークを共同で訓練する。
• 訓練目的は、予測測定値と実際の測定値の再構成損失の最小化として定式化され、非教師学習のNoise2Noiseの原則を活用する。
• 合成的な非剛性変形場は、変形強度を制御するパrameter（σ = 10, 18）を用いたベクトル場生成法により生成され、MRIスキャンにおける現実的な被検者運動を模擬する。

実験結果

リサーチクエスチョン

• RQ1 未登録の測定ペアを活用することで、教師画像を一切用いずに深層画像再構成を効果的に訓練できるか？
• RQ2 画像再構成と非剛性アライメントを同時に最適化することで、運動アーティファクトの影響下でも画像品質が向上するか？
• RQ3 被検者運動による画像の不整合が生じる状況において、U-Dreamの性能は教師ありおよび非教師ありベースラインと比べてどの程度優れているか？
• RQ4 不整合を無視するか事前補正する手法と比較して、U-Dreamは微細構造をどの程度よく回復させ、ぼやけをどの程度低減できるか？

主な発見

• 25%の undersampling とσ=10の条件下で、テストセットにおいてPSNR 31.60 dB、SSIM 0.945を達成し、次に優れた手法（SyN+N2N）をPSNRで1.3 dB、SSIMで0.02上回った。
• より強い変形（σ=18）の条件下でも、高い性能（PSNR: 31.67 dB、SSIM: 0.947）を維持し、非剛性運動に対して高いロバストネスを示した。
• 未登録N2Nと比較して、U-Dreamはぼやけを低減し、特に図2の赤矢印で示された領域でエッジの鋭さが向上しており、SyN+N2Nは依然として平滑化の兆候を示している。
• U-Dreamは、細かいディテールを保持できない「階段効果」を示すTotal Variation正則化法よりも優れた性能を発揮した。
• N2Vは性能が低いため結果に含めなかった。これは、ゼロフィルルドMRIにおける構造的アーティファクトに対して、ノイズの不整合性仮定が成り立たないためである。
• U-Dreamは再構成とアライメントの共同最適化により、視覚的および定量的にも優れたアーティファクト抑制とコントラスト保持を実現した。