[論文レビュー] Ultra-NeRF: Neural Radiance Fields for Ultrasound Imaging

Magdalena Wysocki, Mohammad Farid Azampour+4 more|arXiv (Cornell University)|Jan 25, 2023

Medical Image Segmentation Techniques被引用数 16

ひとこと要約

Ultra-NeRF は、物理情報を組み込んだ暗黙的ニューラル表現を導入し、US組織特性をモデル化し、複数の2D走査から視点依存のBモード画像をレイ追跡ベースのレンダリングで描画します。

ABSTRACT

We present a physics-enhanced implicit neural representation (INR) for ultrasound (US) imaging that learns tissue properties from overlapping US sweeps. Our proposed method leverages a ray-tracing-based neural rendering for novel view US synthesis. Recent publications demonstrated that INR models could encode a representation of a three-dimensional scene from a set of two-dimensional US frames. However, these models fail to consider the view-dependent changes in appearance and geometry intrinsic to US imaging. In our work, we discuss direction-dependent changes in the scene and show that a physics-inspired rendering improves the fidelity of US image synthesis. In particular, we demonstrate experimentally that our proposed method generates geometrically accurate B-mode images for regions with ambiguous representation owing to view-dependent differences of the US images. We conduct our experiments using simulated B-mode US sweeps of the liver and acquired US sweeps of a spine phantom tracked with a robotic arm. The experiments corroborate that our method generates US frames that enable consistent volume compounding from previously unseen views. To the best of our knowledge, the presented work is the first to address view-dependent US image synthesis using INR.

研究の動機と目的

• 複数の2DUS走査から幾何を学習して3D超音波視覚化を促進する。
• INR に物理ベースのレンダリングを組み込み、超音波における視点依存の外観と幾何を解決する。
• 物理的に妥当な新規視点のBモード合成とボリューム合成を可能にする。

提案手法

• 3D座標を組織パラメータ（減衰、反射率、境界確率、散乱密度、散乱強度）へ写像するMLPベースの暗黙表現を用いる。
• US伝搬と逆散乱の物理を強制するレイ追跡ベースの超音波レンダリングモデルを組み込む。
• 構造的忠実度とボクセルレベルの精度を保証するSSIMとL2を組み合わせた損失で学習する。
• 高周波の組織変動を捉えるために位置エンコーディングを用いる。
• 合成データとファントムデータ上で、レンダリング有りのINRを非レンダリングINRおよび明示的な3Dボリューム法と比較する。

実験結果

リサーチクエスチョン

• RQ1 見えない viewpoints で視点依存の超音波外観を、物理情報を組み込んだ INR が正確にモデルできるか？
• RQ2 超音波の物理を NeRF 風のレンダリングに組み込むことで、新規視点のBモード合成とボリューム一貫性が改善されるか？
• RQ3 レンダリングを取り入れた場合、基準となる超音波フレームとの定量的類似性（SSIM）はデータセット間でどのように変化するか？
• RQ4 Ultra-NeRF は、組織間での減衰・散乱・境界といったレンダリングパラメータをどの程度正確に分解できるか？
• RQ5 合成データとファントムデータは、暗黙表現を用いた視点依存の超音波合成の評価に有効か？

主な発見

dataset type	median (with rendering)	mean (with rendering)	min (with rendering)	max (with rendering)	median (without rendering)	mean (without rendering)	min (without rendering)	max (without rendering)
liver synthetic, tilted	0.47	0.45	0.41	0.60	0.50	0.51	0.46	0.59
liver synthetic, perpendicular	0.49	0.49	0.44	0.57	0.54	0.54	0.47	0.62
spine phantom, tilted	0.54	0.51	0.36	0.60	0.50	0.48	0.36	0.59
spine phantom, perpendicular	0.58	0.54	0.42	0.65	0.58	0.54	0.41	0.64

• レンダリングは、ファントムデータに対して傾斜視点および垂直視点のSSIMを向上させるか、あるいは同等である（中央値 SSIM：それぞれ0.54と0.58）。
• 合成データでは、レンダリングベースの INR は、傾斜視点と垂直視点に対して非レンダリング INR よりも同等またはやや低い SSIM を示す（中央値：レンダリングあり0.47–0.49、レンダリングなし0.50–0.54）。
• Ultra-NeRF は、視点が unseen の場合でも一貫したボリューム合成を実現し、視点依存のアーチファクトに対する物理ベースのレンダリングの重要性を強調している。
• 本手法は、視点依存の違いによって表現が曖昧になる領域で、幾何学的に正確なBモード合成を実証する。
• 組織特性をパラメータ分解で識別し、たとえば骨領域での高い減衰と散乱が陰影効果を現実的に再現できることを示した。