[论文解读] Neural Intersection Function

Shin Fujieda, Chih-Chen Kao+1 more|arXiv (Cornell University)|Jan 1, 2023

Computer Graphics and Visualization Techniques被引用 3

一句话总结

本文提出神经相交函数（NIF），一种基于神经网络的新方法，通过用多层感知机（MLP）替代不规则且存在分支发散的底层BVH遍历，加速GPU上的光线投射。NIF通过特征网格和对光线混叠不变的光线参数化方式编码可见性，在保持图像质量的前提下，将二次光线投射速度提升高达35%。

ABSTRACT

The ray casting operation in the Monte Carlo ray tracing algorithm usually adopts a bounding volume hierarchy (BVH) to accelerate the process of finding intersections to evaluate visibility. However, its characteristics are irregular, with divergence in memory access and branch execution, so it cannot achieve maximum efficiency on GPUs. This paper proposes a novel Neural Intersection Function based on a multilayer perceptron whose core operation contains only dense matrix multiplication with predictable memory access. Our method is the first solution integrating the neural network-based approach and BVH-based ray tracing pipeline into one unified rendering framework. We can evaluate the visibility and occlusion of secondary rays without traversing the most irregular and time-consuming part of the BVH and thus accelerate ray casting. The experiments show the proposed method can reduce the secondary ray casting time for direct illumination by up to 35% compared to a BVH-based implementation and still preserve the image quality.

研究动机与目标

• 解决基于GPU的光线追踪中BVH遍历带来的性能瓶颈，该瓶颈因不规则内存访问和分支发散而加剧。
• 探索神经网络是否能够替代BVH遍历流水线中最不规则的部分，代之以规则且适合GPU计算的运算。
• 开发一个统一的渲染框架，将神经可见性预测（NIF）与传统的基于BVH的光线追踪相集成。
• 在复杂场景（包含大量三角形）中显著提升光线投射性能，同时保持高图像质量。

提出的方法

• 提出基于多层感知机（MLP）的神经相交函数（NIF），用于在不遍历BVH树的情况下预测光线-物体相交。
• 采用两个独立的神经网络——外层和内层网络，分别对应光线起始于物体轴对齐包围盒（AABB）外部或内部的情况。
• 使用特征网格存储与命中物体AABB相关的潜在向量，实现对物体的局部自适应并提升跨物体的泛化能力。
• 采用一种新颖的输入参数化方式：当光线起始于AABB外部时，将光线起点映射到AABB交点；当起始于内部时，使用与坐标相关的潜在编码，以消除光线混叠。
• 使用蒙特卡洛采样训练网络，采样来自当前视点的光线，从而实现对二次光线的高效推理。
• 将NIF集成到混合渲染流水线中：NIF负责处理复杂模型（>10万三角形），而BVH用于处理简单几何体，保持与标准光线追踪的兼容性。

实验结果

研究问题

• RQ1 神经网络能否在保持图像质量并提升GPU性能的前提下，替代光线投射中的底层BVH遍历？
• RQ2 如何设计输入参数化方式，使神经网络对光线混叠具有不变性，从而确保在等效光线间保持一致的命中预测？
• RQ3 与基于BVH的基线相比，NIF在复杂场景中能将二次光线投射时间减少多少？
• RQ4 NIF能否在不需全面重构架构的前提下集成到现有光线追踪流水线中？其性能随几何复杂度如何扩展？

主要发现

• 在复杂场景中，NIF相较于基于BVH的光线追踪，将二次光线投射时间最多减少35%，最高加速比达1.53倍。
• NIF与基于BVH的渲染之间PSNR达到39.11 dB，表明图像质量近乎完全一致。
• 在包含5000万三角形的场景（STATUETTES）中，当仅对复杂模型使用NIF时，光线投射时间减少约15%。
• NIF的内存占用和执行时间均保持恒定，与几何复杂度无关，因此在高度细节化的模型中比BVH更具可扩展性。
• 性能提升在BVH遍历分支发散较高的场景中最为显著，例如包含大量小物体或复杂物体的场景。
• 在命中AABB的光线数量相近的场景中，NIF表现出一致的性能，即使内部BVH遍历时间差异显著。