[論文レビュー] Deep image prior for 3D magnetic particle imaging: A quantitative comparison of regularization techniques on Open MPI dataset

Sören Dittmer, Tobias Kluth+2 more|arXiv (Cornell University)|Jul 3, 2020

Characterization and Applications of Magnetic Nanoparticles参考文献 47被引用数 4

ひとこと要約

本稿では、学習データを必要とせず、未学習のニューラルネットワークを用いて画像の事前知識を暗黙的に表現する3次元深層画像プライアリ（DIP）を、磁気粒子画像法（MPI）再構成に導入する。オープンMPIデータセットにおいて、DIP法は変分法および反復的正則化手法を上回り、形状パトロンでは最高のPSNR（32.92）とSSIM（0.951）を達成し、分解能パトロンでも32.92のPSNRと0.951のSSIMを記録した。これは、早期停止を用いることで優れた画像品質が得られ、ノイズ構造に対して高いロバスト性を示していることを示している。

ABSTRACT

Magnetic particle imaging (MPI) is an imaging modality exploiting the nonlinear magnetization behavior of (super-)paramagnetic nanoparticles to obtain a space- and often also time-dependent concentration of a tracer consisting of these nanoparticles. MPI has a continuously increasing number of potential medical applications. One prerequisite for successful performance in these applications is a proper solution to the image reconstruction problem. More classical methods from inverse problems theory, as well as novel approaches from the field of machine learning, have the potential to deliver high-quality reconstructions in MPI. We investigate a novel reconstruction approach based on a deep image prior, which builds on representing the solution by a deep neural network. Novel approaches, as well as variational and iterative regularization techniques, are compared quantitatively in terms of peak signal-to-noise ratios and structural similarity indices on the publicly available Open MPI dataset.

研究の動機と目的

• ラベル付き学習データを必要としない、磁気粒子画像法（MPI）における画像再構成のための新しい3次元深層画像プライアリ（DIP）手法の開発。
• 公開済みのオープンMPIデータセットを用いて、DIPを古典的変分法および反復的正則化手法と定量的に比較すること。
• MPIにおける再構成品質に与える影響を評価するため、データ適合項（ℓ1対ℓ2）および正則化戦略の違いを検討すること。
• DIPに基づくMPI再構成における、早期停止およびネットワークアーキテクチャの影響を画像品質に与える影響を調査すること。
• MPI測定のノイズ構造および非ガウス的特性を考慮し、ℓ1データ適合項がMPIに適しているかどうかを評価すること。

提案手法

• DIP法は、画像再構成をランダム重みを有する順方向ニューラルネットワークとして定式化し、ネットワーク構造が暗黙的に画像事前知識を強制することで、学習データを必要としない。
• 3次元U-Netに類似たアーキテクチャを用い、スキップ接続を組み込み、アンダーサンプリングまたはノイズの強い測定値からボリュメトリックMPIデータを再構成する。
• 過学習を防ぎ、一般化性能を向上させるために、確率的勾配降下法を用いて最適化を実行し、早期停止を適用する。
• データ適合項は、測定信号とネットワーク出力に前方モデルを適用した結果との間のℓ1またはℓ2ノルムとして定式化される。
• 正則化はネットワーク構造によって暗黙的に表現され、全変動やチホノフ正則化などの明示的ペナルティ項を避ける。
• 2つのパトロン（オープンMPIデータセットより）を用いて、Kaczmarz型反復手法（KACZ）および異なるペナルティ項（ℓ1、ℓ2、TV）を用いた変分法（VAR）と比較した。

実験結果

リサーチクエスチョン

• RQ1 学習データを必要としない深層画像プライアリ（DIP）は、3次元MPI再構成において、古典的正則化手法を上回ることができるか？
• RQ2 DIPおよび変分法における再構成品質に、データ適合項の選択（ℓ1 対 ℓ2）がどのように影響を与えるか？
• RQ3 早期停止はDIP性能にどのような影響を及ぼし、反復回数が限られた反復手法と比較してどうなるか？
• RQ4 KACZ手法におけるℓ2とℓ1ペナルティの組み合わせ（Dℓ2 + P(ℓ1+ℓ2)）は、標準的なℓ2のみのアプローチを上回る再構成性能を示すか？
• RQ5 MPIの測定におけるノイズ構造を考慮すると、ℓ1データ適合項はℓ2よりも適していると考えられるか？

主な発見

• DIP法は、分解能パトロンにおいて最高のPSNR（32.92）とSSIM（0.951）を達成し、形状パトロンにおいても32.92のPSNRと0.951のSSIMを記録した。全SNR閾値において、他のすべての手法を上回った。
• 早期停止を適用したDIP法は優れた性能を示し、制限された学習ステップにより過学習を防ぎ、再構成品質が向上することを示した。
• ℓ2とℓ1ペナルティを組み合わせたKACZ法（Dℓ2 + P(ℓ1+ℓ2)）は、分解能パトロンにおいて2番目に高いPSNR（31.82）とSSIM（0.949）を達成し、標準的なℓ2のみのKACZを上回った。
• ℓ1データ適合項を用いたDIP法（Dℓ1 + P-*）は、分解能パトロンにおいて最高のPSNR（32.92）とSSIM（0.951）を達成し、MPIのノイズ特性に適していることが示された。
• ℓ1データ適合項を用いた変分法（VAR Dℓ1 + Pℓ1）は、分解能パトロンにおいてPSNR 30.43、SSIM 0.915を達成し、ℓ2ベースの変分法を著しく上回った。
• 本研究では、特にノイズ構造が非ガウス的である場合に、ℓ1データ適合項がℓ2よりもMPIに適していることが確認された。DIPおよび変分法の両手法において、改善された結果が得られたことから、その妥当性が裏付けられた。