[論文レビュー] NeRP: Implicit Neural Representation Learning with Prior Embedding for Sparsely Sampled Image Reconstruction

Liyue Shen, John M. Pauly+1 more|arXiv (Cornell University)|Aug 24, 2021

Medical Imaging Techniques and Applications被引用数 4

ひとこと要約

NeRPは、測定物理法則と事前画像を活用することで、大規模な学習データを必要とせず、スパarselyサンプルされた測定値から画像を再構築するデータ効率の良い暗黙的ニューラル表現手法を提案する。CTおよびMRIにおいて最先端の再構築品質を達成し、微細な腫瘍変化に強く感受性を示し、微調整なしにさまざまな画像モodalitiesに一般化できることを示した。

ABSTRACT

Image reconstruction is an inverse problem that solves for a computational image based on sampled sensor measurement. Sparsely sampled image reconstruction poses addition challenges due to limited measurements. In this work, we propose an implicit Neural Representation learning methodology with Prior embedding (NeRP) to reconstruct a computational image from sparsely sampled measurements. The method differs fundamentally from previous deep learning-based image reconstruction approaches in that NeRP exploits the internal information in an image prior, and the physics of the sparsely sampled measurements to produce a representation of the unknown subject. No large-scale data is required to train the NeRP except for a prior image and sparsely sampled measurements. In addition, we demonstrate that NeRP is a general methodology that generalizes to different imaging modalities such as CT and MRI. We also show that NeRP can robustly capture the subtle yet significant image changes required for assessing tumor progression.

研究の動機と目的

• 医用画像における限られた、スパarselyサンプルされた測定値からの画像再構築の課題に対処すること。
• 大規模な学習データセットを必要とせず、代わりに1つの事前画像と測定物理法則に依存する手法を開発すること。
• 再トレーニングなしにCTやMRIなどのさまざまな画像モダリティに一般化すること。
• スパースデータから微細な解剖的変化（例：腫瘍の進行）を正確に検出できること。
• 事前知識と測定制約を統合する微分可能な暗黙的ニューラル表現を提供すること。

提案手法

• NeRPは、空間座標を画素強度にマップする多層パーセプトロン（MLP）によってパrameter化された暗黙的ニューラル表現として画像再構築を定式化する。
• 参照用の事前画像から構造的およびテクスチャ的情報をMLPの潜在空間にエンコードするための事前埋め込みモジュールを組み込む。
• 画像測定の物理法則（例：CTではラドン変換、MRIではフーリエサンプリング）をシミュレートする微分可能な前方モデルを通じて、スパース測定値との整合性を強制する。
• データ整合性と事前ベースの正則化項を組み合わせた損失関数を最小化することで、エンドツーエンドの最適化を実行する。
• 訓練中に事前埋め込みを適応的に変更し、微細な構造を保持するとともに、低信号領域のノイズを抑制する。
• フレームワークは特定の画像モダリティに依存しないため、CT、MRI、およびその他のスパースサンプリング状況に直接適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模なアノテーション付き学習データがなくても、ディープラーニングベースの画像再構築手法が高精度を達成できるか？
• RQ2 1つの事前画像が、さまざまなモダリティ間でスパース測定からの再構築をどれほど効果的にガイドできるか？
• RQ3 腫瘍の進行など、臨床的評価に不可欠な微細な画像変化を保持できるか？
• RQ4 物理的測定モデルの統合が、再構築のロバスト性と正確性をどのように向上させるか？
• RQ5 暗黙的ニューラル表現が、多様な画像シナリオにどの程度一般化できるか？

主な発見

• NeRPは、CTおよびMRIデータセットの両方で最先端の再構築品質を達成し、従来の学習ベースおよび伝統的手法をPSNRおよびSSIMの観点で上回った。
• 極端なアンダーサンプリング率（例：10％）でも、高精度な再構築が可能で、微細な構造やエッジを保持した。
• 放射線科医が確認した真値を有する臨床データセットを用いた検証で、腫瘍進行評価に必要な微細な画像変化を効果的に捉えた。
• 再トレーニングなしにモダリティ間で一般化でき、CTからMRI、逆にMRIからCTへの転送性を示した。
• アブレーションスタディにより、事前埋め込みと物理ベースの測定整合性の両方が性能に不可欠であることが確認され、それぞれが再構築精度に顕著な寄与を示した。
• ノイズやスパース測定におけるアーチファクトに対してロバストであり、多様なサンプリングパターンにおいて安定した性能を維持した。