[论文解读] Implicit Neural Representation in Medical Imaging: A Comparative Survey

Amirali Molaei, Amirhossein Aminimehr+5 more|arXiv (Cornell University)|Jul 30, 2023

Medical Imaging Techniques and Applications被引用 6

一句话总结

本综述对医学影像中的隐式神经表征（INRs）进行了全面分析，评估其在重建、分割和配准等任务中的应用。通过利用神经网络将医学信号参数化为连续函数，INRs 提供了与分辨率无关、内存高效且可微分的表征方式，在处理病态医学影像问题方面优于传统的离散方法。

ABSTRACT

Implicit neural representations (INRs) have gained prominence as a powerful paradigm in scene reconstruction and computer graphics, demonstrating remarkable results. By utilizing neural networks to parameterize data through implicit continuous functions, INRs offer several benefits. Recognizing the potential of INRs beyond these domains, this survey aims to provide a comprehensive overview of INR models in the field of medical imaging. In medical settings, numerous challenging and ill-posed problems exist, making INRs an attractive solution. The survey explores the application of INRs in various medical imaging tasks, such as image reconstruction, segmentation, registration, novel view synthesis, and compression. It discusses the advantages and limitations of INRs, highlighting their resolution-agnostic nature, memory efficiency, ability to avoid locality biases, and differentiability, enabling adaptation to different tasks. Furthermore, the survey addresses the challenges and considerations specific to medical imaging data, such as data availability, computational complexity, and dynamic clinical scene analysis. It also identifies future research directions and opportunities, including integration with multi-modal imaging, real-time and interactive systems, and domain adaptation for clinical decision support. To facilitate further exploration and implementation of INRs in medical image analysis, we have provided a compilation of cited studies along with their available open-source implementations on \href{https://github.com/mindflow-institue/Awesome-Implicit-Neural-Representations-in-Medical-imaging}. Finally, we aim to consistently incorporate the most recent and relevant papers regularly.

研究动机与目标

• 系统性回顾隐式神经表征（INRs）在医学影像任务（如重建、分割和配准）中的应用。
• 分析 INRs 在医学数据背景下所具备的优势，例如与分辨率无关的表征、内存效率和可微性。
• 识别医学 INR 应用中的关键挑战，包括计算复杂性、数据稀缺性以及动态场景建模问题。
• 突出开放的研究方向，包括与多模态成像的集成、实时系统以及用于临床决策支持的领域自适应。
• 整理并链接所调研 INR 方法的开源实现，以支持可复现性及进一步研究。

提出的方法

• 从 2021–2023 年间筛选 64 篇研究论文，以绘制 INR 在医学影像任务中应用趋势的图谱。
• 根据设计（如基于 SIREN、基于 NeRF）和应用领域（如 3D 重建、新视角合成）对 INR 架构进行分类。
• 分析傅里叶特征编码在缓解 INRs 中谱偏差问题中的作用，特别是在高频医学信号表征中的应用。
• 评估可微分连续函数在图像配准等任务中通过正则化（如雅可比矩阵、弯曲能量）实现优化的作用。
• 从内存使用量和重建保真度角度，对比 INR 与传统离散表征（如体素网格、点云）的性能表现。
• 对引用文献中的 INR 方法的开源实现进行分类与总结，以支持可复现性与工具开发。

Figure 1: Chart (a) visually displays the relative proportions of published papers according to their application, and chart (b) illustrates the count of published papers based on INR design in medical tasks during different time periods (with ”H” indicating the first or second half of the year). Th

实验结果

研究问题

• RQ1 与传统的离散表征相比，隐式神经表征在医学图像重建中如何提升性能？
• RQ2 哪些关键的架构选择（如激活函数、输入编码）能够提升 INRs 在医学影像任务中的表现？
• RQ3 INRs 在临床环境中如何应对数据有限、低剂量扫描以及动态解剖运动等挑战？
• RQ4 在实时或临床决策支持系统中部署 INRs 时，面临的主要计算与实际障碍是什么？
• RQ5 如何扩展 INRs 以支持多模态成像、基于视频的重建以及交互式医学可视化？

主要发现

• INRs 展现出与分辨率无关的信号表征能力，可在任意分辨率下实现高质量重建，且内存成本不增加。
• 使用傅里叶特征和 SIREN 激活函数显著降低了谱偏差，提升了在 3D 医学扫描中重建精细解剖细节的性能。
• 与基于体素或网格的表征相比，INRs 实现了更优的内存效率，其内存占用随信号复杂度增长，而非分辨率。
• 可微分 INRs 支持图像配准等任务中的高级正则化，可集成物理约束（如超弹性、弯曲能量）以增强模型合理性。
• 尽管具有优势，INRs 在 3D 医学体数据上的训练仍计算成本高昂，且随着模型深度和输入维度的增加，训练时间显著上升。
• 医学影像中 INR 方法的开源实现正日益丰富，有助于提升研究的可复现性，并加速该领域的发展。

Figure 2: The figure illustrates various modifications to alleviate the spectral bias problem in INRs, provides an overview of their underlying principles, and introduces NeRF as an additional background method, as discussed in section 2 .