[论文解读] Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images

Jakob Weiß, Nassir Navab|arXiv (Cornell University)|Jun 9, 2021

Computer Graphics and Visualization Techniques参考文献 43被引用 9

一句话总结

本文提出深度直接体素渲染（Deep Direct Volume Rendering, DeepDVR），一种可微分的端到端深度学习框架，用学习到的特征提取与视觉映射替代传统体素渲染（DVR）中的手工设计转移函数。通过在2D参考图像上进行训练，DeepDVR隐式学习语义体素分类与色彩-透明度映射，实现无需人工调节转移函数的高质量、可泛化的科学可视化。

ABSTRACT

Volume Rendering is an important technique for visualizing three-dimensional scalar data grids and is commonly employed for scientific and medical image data. Direct Volume Rendering (DVR) is a well established and efficient rendering algorithm for volumetric data. Neural rendering uses deep neural networks to solve inverse rendering tasks and applies techniques similar to DVR. However, it has not been demonstrated successfully for the rendering of scientific volume data. In this work, we introduce Deep Direct Volume Rendering (DeepDVR), a generalization of DVR that allows for the integration of deep neural networks into the DVR algorithm. We conceptualize the rendering in a latent color space, thus enabling the use of deep architectures to learn implicit mappings for feature extraction and classification, replacing explicit feature design and hand-crafted transfer functions. Our generalization serves to derive novel volume rendering architectures that can be trained end-to-end directly from examples in image space, obviating the need to manually define and fine-tune multidimensional transfer functions while providing superior classification strength. We further introduce a novel stepsize annealing scheme to accelerate the training of DeepDVR models and validate its effectiveness in a set of experiments. We validate our architectures on two example use cases: (1) learning an optimized rendering from manually adjusted reference images for a single volume and (2) learning advanced visualization concepts like shading and semantic colorization that generalize to unseen volume data. We find that deep volume rendering architectures with explicit modeling of the DVR pipeline effectively enable end-to-end learning of scientific volume rendering tasks from target images.

研究动机与目标

• 消除科学体素渲染中对人工、专家驱动的多维转移函数设计的需求。
• 使领域专家能够直接在图像空间指定期望的视觉外观，而无需深入了解体素数据或渲染参数。
• 开发一种可微分的模块化DVR流水线，支持使用深度神经网络进行端到端训练。
• 通过鲁棒的特征学习，将学习到的可视化泛化到新视角和未见过的体素数据集。
• 通过一种新颖的步长退火方案加速训练，同时保持渲染质量。

提出的方法

• 提出一种广义的、可微分的DVR流水线，明确建模特征提取、分类与合成阶段。
• 使用2D参考图像作为监督信号，端到端训练深度神经网络，实现对3D视觉语义的隐式学习。
• 引入潜在色彩空间公式，使深度架构能够在无需显式转移函数参数化的情况下学习视觉映射。
• 采用一种步长退火方案，从较大的射线步长开始，逐步减小，以加速收敛。
• 采用模块化架构，结合3D U-Net类编码器（如VNet）与图像空间解码器（如U-Net），实现体素空间与图像空间的联合推理。
• 利用可微分渲染，将图像空间损失反向传播至3D特征空间，实现从2D标注进行训练。

实验结果

研究问题

• RQ1 深度神经网络能否在无显式3D标注的情况下，仅从2D样本图像中有效学习复杂的视觉特征映射？
• RQ2 所学习的模型在保持期望视觉语义的前提下，能否泛化到新视角和未见过的体素数据集？
• RQ3 所提出的步长退火方案是否能显著缩短训练时间，同时不降低渲染质量？
• RQ4 与传统的转移函数设计相比，使用图像空间监督的端到端训练是否能在分类强度与视觉保真度方面表现更优？
• RQ5 该框架能否通过极少的用户输入，扩展以学习语义着色与高级渲染效果（如阴影）？

主要发现

• DeepDVR模型成功从2D参考图像中学习到复杂视觉效果的再现能力，包括根据大小和强度区分动脉与静脉等解剖结构。
• 该框架在新视角和未见过的体素数据上表现出良好的泛化能力，对个体间解剖差异具有鲁棒性。
• 步长退火方案显著缩短了训练时间，在收敛速度上实现与恒定小步长训练相当的性能。
• 使用MLP表示转移函数而非查找表会增加训练成本并降低图像质量，表明学习到的映射更受益于结构化、可微分的架构。
• VNet4-4模型通过2D标注的视觉损失进行训练，实现了有效的3D语义分割，而无需3D标签，证明了该方法在弱监督3D学习中的潜力。
• 测试推理时间对离线使用可行（每帧约370ms），未来通过着色器加速前向传播与特征缓存优化，有望实现交互式可视化。