[论文解读] Antara: An Interactive 3D Volume Rendering and Visualization Framework

Pratik Kalshetti, Parag Rahangdale+3 more|arXiv (Cornell University)|Dec 11, 2018

Medical Image Segmentation Techniques参考文献 1被引用 4

一句话总结

Antara 提出了一种开源的、交互式的 3D 体素渲染框架，通过射线投射实现直接体素渲染（DVR），以高保真度和实时交互性可视化 MRI 数据。该框架通过采用转移函数和一种新颖的验证方法（使用 Dice 相似系数），实现了对解剖结构（尤其是骨骼）的精确可视化，与真实值对比的平均得分为 0.8176，表明其在医学诊断中具有高精度。

ABSTRACT

The goal of 3D visualization is to provide the user with an intuitive interface which enables him to explore the 3D data in an interactive manner. The aim of the exploration is to identify and analyze anomalies or to give proof of the non-anomaly of the visualized organic structures. For 3D Medical Data, Magnetic Resonance Images (MRI) has been used. To create the 3D model, we used the Direct Volume Rendering technique. In the input 3D data, we have $x, y$ and $z$ coordinates and an intensity value for each voxel. The 3D data is used by Volume Ray Casting to compute 2D projections from 3D volumetric data sets. In ray casting, a ray of light is made to pass through the volume data. The interaction of each voxel with this ray is used to assign RGB and alpha values for every voxel in the volume. As a result, we are able to generate the 3D model of the region of interest using the 3D data. The 3D model is interactive, thus enabling us to visualize the different layers of the 3D volume by adjusting the transfer function.

研究动机与目标

• 开发一种用于医学体素数据的交互式 3D 可视化框架，通过直观探索内部结构来提高诊断准确性。
• 通过使用直接体素渲染（DVR）来克服表面拟合方法的局限性，如假阳性结果以及无法可视化低对比度或内部特征的问题。
• 通过优化的射线投射和递归渲染公式，实现实时交互式操作 3D 医学数据。
• 通过将二维 Dice 相似系数适配为三维版本，引入一种新颖的验证指标，用于评估体素渲染结果与人工标注真实值的匹配程度。
• 支持多器官和多组织分析，包括肿瘤检测和虚拟手术规划，并具备在汽车设计等非医学领域应用的潜力。

提出的方法

• 通过射线投射实现直接体素渲染（DVR），从 3D MRI 体素数据生成 2D 投影，保留所有体素信息，无需进行表面提取。
• 使用光学模型将每个视线上的体素强度值映射为 RGB 和 alpha（不透明度）值，从而实现对不同密度内部结构的可视化。
• 应用 Phong 光照模型，结合环境光、漫反射和镜面反射分量，以增强渲染图像的深度感知和真实感。
• 在 Phong 模型中使用 60 的光泽系数，以在表面反光性和视觉清晰度之间取得平衡，并通过对比渲染实验验证其有效性。
• 通过将二维 Dice 相似系数扩展至三维，将每帧渲染切片视为分割结果，与人工分割的真实值进行比较，以实现定量评估。
• 实现渲染方程的递归公式化，以加速计算，并在用户调整转移函数和视角时支持实时交互。

实验结果

研究问题

• RQ1 一个开源的、交互式的 3D 体素渲染框架是否能够在保持高视觉保真度的同时实现实时性能，用于医学 MRI 数据？
• RQ2 全光照模型（环境光、漫反射、镜面反射）与最优光泽系数的集成，如何影响渲染 3D 结构的感知质量和诊断实用性？
• RQ3 在与人工分割对比时，二维 Dice 相似系数在多大程度上可以有意义地扩展用于评估 3D 体素渲染的准确性？
• RQ4 与传统表面拟合方法（如移动立方体法）相比，使用射线投射的 DVR 在可视化低对比度组织中的细微解剖特征和异常方面有何优势？
• RQ5 该框架是否可泛化以支持器官特异性渲染和临床应用中的虚拟手术规划？

主要发现

• 通过递归渲染和优化的射线投射，该框架实现了实时交互性，支持在可视化过程中动态调整转移函数。
• 所有 MRI 切片的平均 Dice 相似系数为 0.8176，表明 Antara 渲染输出与人工分割真实值高度一致。
• 采用包含所有三种光照分量（环境光、漫反射、镜面反射）的 Phong 光照模型，并设置光泽系数为 60 时，渲染结果最为真实且感知准确。
• 射线投射在可视化所有内部结构（包括低对比度和分支特征）方面优于表面拟合方法，未出现数据遗漏或失真。
• 通过使用 3D 体素渲染和转移函数控制，能够在冠状面、矢状面和轴状面中清晰呈现骨骼和软组织结构。
• 该框架在检测细微解剖特征方面表现出鲁棒性和高精度，视觉结果通过恰当的阴影处理清晰突出了被遮挡区域。