[论文解读] MedNeRF: Medical Neural Radiance Fields for Reconstructing 3D-aware CT-Projections from a Single X-ray

Abril Corona-Figueroa, Jonathan Frawley+4 more|arXiv (Cornell University)|Feb 2, 2022

Medical Imaging Techniques and Applications被引用 5

一句话总结

本文提出 MedNeRF，一种深度学习模型，通过改进的生成辐射场（GRAF）架构，从单张X光片重建出具有3D感知能力的CT投影。通过利用具有新颖损失函数和架构的自监督判别器，MedNeRF 在无需3D监督的情况下学习解剖结构的连续体素表示，实现了在减少辐射暴露潜力的前提下，渲染高保真度CT投影的最先进性能。

ABSTRACT

Computed tomography (CT) is an effective medical imaging modality, widely used in the field of clinical medicine for the diagnosis of various pathologies. Advances in Multidetector CT imaging technology have enabled additional functionalities, including generation of thin slice multiplanar cross-sectional body imaging and 3D reconstructions. However, this involves patients being exposed to a considerable dose of ionising radiation. Excessive ionising radiation can lead to deterministic and harmful effects on the body. This paper proposes a Deep Learning model that learns to reconstruct CT projections from a few or even a single-view X-ray. This is based on a novel architecture that builds from neural radiance fields, which learns a continuous representation of CT scans by disentangling the shape and volumetric depth of surface and internal anatomical structures from 2D images. Our model is trained on chest and knee datasets, and we demonstrate qualitative and quantitative high-fidelity renderings and compare our approach to other recent radiance field-based methods. Our code and link to our datasets are available at https://github.com/abrilcf/mednerf

研究动机与目标

• 为解决传统CT扫描相关的高电离辐射剂量问题，通过减少X射线投影数量实现3D重建。
• 克服标准NeRF在医学影像中存在的一些局限，如运动伪影、结构重叠以及缺乏3D监督。
• 从2D数字化重建放射影像（DRRs）中学习连续的、具有3D感知能力的CT解剖表示，而无需配对的CT扫描。
• 通过使用自监督对抗性判别器，在稀疏视图和单视图设置下提升重建保真度和体素深度估计性能。
• 在低剂量成像、骨科规划和骨骼评估中展示临床潜力，实现辐射暴露减少。

提出的方法

• 模型在20例胸部和5例膝关节CT扫描上进行训练，从中合成生成72张DRR（每5°间隔一张），以模拟多角度X射线投影。
• 基于改进的GRAF生成器，利用基于坐标的神经网络，从2D DRR中学习衰减和体素深度的连续3D表示。
• 采用新颖架构的自监督判别器，提供更强且更全面的反馈，以分离解剖形状与背景，并改善深度估计。
• 判别器使用铰链损失（hinge loss）和可微分对抗生成器（DAG），以增强特征学习并减少模式崩溃。
• 通过对抗损失、感知损失和L1损失的组合，端到端训练模型，以保留精细的解剖细节和衰减响应。
• 未使用显式投影矩阵；模型通过3D表示隐式学习几何结构，从而可从单张输入X光片生成视图。

实验结果

研究问题

• RQ1 神经辐射场模型能否在无3D监督的情况下，从单张X光片重建出高保真度的3D感知CT投影？
• RQ2 与标准GAN相比，自监督判别器在医学NeRF中如何提升体素深度和衰减渲染质量？
• RQ3 MedNeRF在极少监督下，对不同解剖结构（如胸部与膝关节）的泛化能力如何？
• RQ4 在图像保真度和结构细节方面，MedNeRF与现有基于NeRF的方法（如pixelNeRF和GRAF）相比，定量和定性表现如何？
• RQ5 尽管医学DRR具有透视特性及结构重叠，模型能否保持一致的几何结构并减少伪影？

主要发现

• 在胸部数据集上，MedNeRF 的FID（60.26 ± 0.322）和KID（0.041 ± 0.0005）最低，优于GRAF和pixelNeRF。
• 在膝关节数据集上，MedNeRF 的FID为76.12 ± 0.193，KID为0.052 ± 0.0004，显著优于pixelNeRF（FID：166.40 ± 2.153），并与GRAF相当，同时细节表现更优。
• 消融研究显示，基于DAG的判别器配合铰链损失时性能最佳，相比基线消融，FID降低12.5%。
• MedNeRF 生成的衰减图更清晰，解剖形状与背景分离更优，解剖结构呈现更深颜色，背景更明亮；而GRAF则对两者使用相似的强度渲染。
• pixelNeRF 因DRR的透视特性导致明显模糊和颜色偏移，而MedNeRF 在各视角下均保持一致的几何结构和精细解剖细节。
• 模型成功从单张X光输入生成合理的3D感知CT投影，展示了在低剂量临床应用中的潜力。