[论文解读] HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural Representations via Knowledge Distillation

Qi Wu, David R. Bauer+2 more|arXiv (Cornell University)|Apr 9, 2023

Advanced Vision and Imaging被引用 6

一句话总结

HyperINR 提出了一种快速、可预测的超网络，通过多分辨率哈希编码器和知识蒸馏技术，为紧凑的隐式神经表示（INRs）生成权重。通过实现亚毫秒级的INR生成（比之前的方法快达100倍），它实现了实时、逼真的体素渲染，并在科学可视化任务中对未见过的参数表现出更优的泛化能力。

ABSTRACT

Implicit Neural Representations (INRs) have recently exhibited immense potential in the field of scientific visualization for both data generation and visualization tasks. However, these representations often consist of large multi-layer perceptrons (MLPs), necessitating millions of operations for a single forward pass, consequently hindering interactive visual exploration. While reducing the size of the MLPs and employing efficient parametric encoding schemes can alleviate this issue, it compromises generalizability for unseen parameters, rendering it unsuitable for tasks such as temporal super-resolution. In this paper, we introduce HyperINR, a novel hypernetwork architecture capable of directly predicting the weights for a compact INR. By harnessing an ensemble of multiresolution hash encoding units in unison, the resulting INR attains state-of-the-art inference performance (up to 100x higher inference bandwidth) and can support interactive photo-realistic volume visualization. Additionally, by incorporating knowledge distillation, exceptional data and visualization generation quality is achieved, making our method valuable for real-time parameter exploration. We validate the effectiveness of the HyperINR architecture through a comprehensive ablation study. We showcase the versatility of HyperINR across three distinct scientific domains: novel view synthesis, temporal super-resolution of volume data, and volume rendering with dynamic global shadows. By simultaneously achieving efficiency and generalizability, HyperINR paves the way for applying INR in a wider array of scientific visualization applications.

研究动机与目标

• 解决大型隐式神经表示（INRs）带来的高推理成本问题，该问题阻碍了科学应用中的交互式可视化。
• 克服参数化INRs中模型效率与泛化能力之间的权衡，尤其是在面对未见过的模拟或可视化参数时。
• 通过大幅降低INR生成延迟，实现对参数的实时探索，同时保持高质量的数据和可视化输出。
• 通过新颖的超网络架构和知识蒸馏，实现出色的推理速度与泛化性能。
• 支持多样化的科学可视化任务，如新视角合成、时间超分辨率和动态阴影渲染，采用统一且高效的框架。

提出的方法

• 设计一种超网络，利用多个小型多分辨率哈希编码器作为条件输入，预测共享紧凑MLP结构INR的权重。
• 将哈希编码器组织为空间数据结构，以支持基于输入参数的高效最近邻搜索与插值。
• 实现一种深度嵌入的权重插值机制，将插值得到的编码器权重与共享MLP权重结合，形成完整的INR。
• 利用CoordNet作为教师模型进行知识蒸馏，将高保真泛化能力迁移至更小的HyperINR模型。
• 使用按需生成或预计算的知识蒸馏数据集进行HyperINR训练，以优化性能与训练效率。
• 将生成的HyperINR与Wu等人提出的先进INR渲染算法集成，以支持交互式体素路径追踪。

Figure 1 : The architecture of HyperINR. HyperINR is composed of a shared MLP denoted as $S$ and a collection of multiresolution hash encoding parameters $E$ , with each parameter associated with a set of values $\{a,b,c,...\}$ . A) In high dimensions, a KD-tree is utilized, B) while in 1D, the enco

实验结果

研究问题

• RQ1 超网络架构是否能够在科学可视化中同时实现亚毫秒级INR生成与对未见参数的高泛化能力？
• RQ2 从大型教师模型（CoordNet）中进行知识蒸馏，如何提升基于紧凑超网络的INR的泛化能力？
• RQ3 与单个大型编码器相比，使用多个多分辨率哈希编码器在性能上有多大提升？
• RQ4 所提出的方法是否能够支持具有复杂效果（如动态全局阴影）的实时交互式体素渲染？
• RQ5 知识蒸馏数据集的大小以及按需生成方式对训练效率和模型性能有何影响？

主要发现

• HyperINR 的推理带宽比CoordNet最高提升100倍，实现INR生成时间低于1毫秒，支持实时交互式体素渲染。
• 在时间超分辨率任务中，该方法优于数据插值，能准确预测阴影运动并保持视觉连贯性，而插值方法则会失败。
• 知识蒸馏显著增强了泛化能力，使HyperINR即使在复杂场景（如动态阴影）下也能为未见参数生成高质量可视化结果。
• 使用预计算的知识蒸馏数据集使NVIDIA A100上的训练速度最高提升8倍，但大容量数据集仍受GPU显存限制的制约。
• 消融实验证实，多分辨率哈希编码器的性能优于单编码器基线，但在更高维参数空间中性能增益逐渐减弱。
• 通过避免次级光线，HyperINR的渲染过程实现了约2倍的加速，证明了渲染流水线中的效率提升。

Figure 2 : A) Visualization of the knowledge distillation process, wherein a user provides a training set $\mathcal{C}$ and a set of encoder positions $\mathcal{E}$ . We utilize $\mathcal{C}$ to pretrain CoordNet and construct HyperINR using $\mathcal{E}$ . Following pretraining, we create a distill