[论文解读] NeAT: Neural Adaptive Tomography

Darius Rückert, Yuanhao Wang+3 more|arXiv (Cornell University)|Feb 4, 2022

Computer Graphics and Visualization Techniques被引用 8

一句话总结

NeAT 提出了一种新颖的自适应、分层神经渲染流水线，用于基于混合显式-隐式八叉树表示的断层扫描重建，结合可学习的神经特征。通过实现可微分、高效的射线追踪以及几何与辐射度的自校准重建，NeAT 在稀疏视角、有限角度和噪声环境等场景下，相较于基于优化的求解器和现有神经方法，均实现了更优的重建质量和速度。

ABSTRACT

In this paper, we present Neural Adaptive Tomography (NeAT), the first adaptive, hierarchical neural rendering pipeline for multi-view inverse rendering. Through a combination of neural features with an adaptive explicit representation, we achieve reconstruction times far superior to existing neural inverse rendering methods. The adaptive explicit representation improves efficiency by facilitating empty space culling and concentrating samples in complex regions, while the neural features act as a neural regularizer for the 3D reconstruction. The NeAT framework is designed specifically for the tomographic setting, which consists only of semi-transparent volumetric scenes instead of opaque objects. In this setting, NeAT outperforms the quality of existing optimization-based tomography solvers while being substantially faster.

研究动机与目标

• 解决从病态断层扫描数据（如稀疏视角、有限角度覆盖或高噪声）中重建3D体素场景的挑战。
• 克服现有神经逆向渲染和基于优化的断层扫描求解器的高计算成本，同时提升重建质量。
• 引入一种可微分、物理上合理的传感器模型，实现在重建过程中几何与光度的联合自校准。
• 开发一种高效、GPU优化的框架，利用自适应八叉树采样和神经特征，将计算资源集中于复杂区域，同时剔除空旷空间。
• 在合成和真实世界断层扫描数据集上，展示在重建质量与推理速度方面的最先进性能。

提出的方法

• 采用自适应八叉树结构，其中每个叶节点存储一个小型神经特征体素，实现3D场景的分层显式表示。
• 使用可微分的射线追踪流水线，计算射线与八叉树的相交，并沿射线采样神经特征，随后通过加权积分实现光度渲染。
• 集成一个神经解码器网络，将采样特征映射为辐射度值，再经光度校准模块处理，生成最终像素强度。
• 通过反向传播端到端优化整个流水线，包括八叉树结构、神经特征、解码器权重以及几何/光度校准参数。
• 利用PyTorch的自动微分机制，高效计算梯度，无需显式实现前向和反向投影算子。
• 应用自适应细化策略，动态分配计算资源至复杂区域，同时剔除空旷空间，提升效率与内存使用性能。

实验结果

研究问题

• RQ1 混合显式-隐式神经表示结合自适应八叉树结构，是否在断层扫描逆向渲染中，相较于纯隐式或纯显式表示，能实现更优的重建质量与速度？
• RQ2 基于可微分渲染的优化方法，在病态配置下，是否能显著优于传统基于优化的断层扫描求解器？
• RQ3 所提出的自校准机制在处理存在几何与光度误差的真实世界数据时，效果如何？
• RQ4 自适应八叉树表示能否在样本广泛分散的体素场景（如断层扫描）中，高效管理内存与计算资源？
• RQ5 将神经特征作为正则化项，是否能提升低信噪比或稀疏视角场景下的重建保真度？

主要发现

• NeAT 在稀疏视角和有限角度配置下，相较于最先进基于优化的断层扫描求解器（如PSART-TV），实现了更优的重建质量。
• 尽管采用神经架构，NeAT 的计算性能与先进基于优化的方法（如PSART-TV）相当，且得益于高效的GPU加速可微分渲染，推理速度显著更快。
• 自适应八叉树结构有效实现了空旷空间的剔除，并将采样集中于复杂区域，降低了内存与计算成本，同时保持了精度。
• 几何与光度联合自校准机制成功校正了真实世界数据中的微小误差，提升了重建保真度。
• 该方法对噪声和有限角度覆盖具有鲁棒性，即使在传统方法失效时，仍能生成物理上合理的重建结果。
• 可微分渲染框架避免了实现和维护复杂精确转置算子（如迭代求解器中的A和A^T）的需求，简化了GPU移植与优化。