[论文解读] CoordX: Accelerating Implicit Neural Representation with a Split MLP Architecture

Ruofan Liang, Hongyi Sun+1 more|arXiv (Cornell University)|Jan 28, 2022

Advanced Vision and Imaging被引用 8

一句话总结

本文提出CoordX，一种分割MLP架构，通过分别处理每个输入坐标维度并在之后融合特征，加速基于坐标的隐式神经表示的训练与推理。该方法在保持与标准MLP相当精度的前提下，实现最高2.92倍的速度提升，从而在图像、视频和3D形状任务中实现更快的渲染与学习。

ABSTRACT

Implicit neural representations with multi-layer perceptrons (MLPs) have recently gained prominence for a wide variety of tasks such as novel view synthesis and 3D object representation and rendering. However, a significant challenge with these representations is that both training and inference with an MLP over a large number of input coordinates to learn and represent an image, video, or 3D object, require large amounts of computation and incur long processing times. In this work, we aim to accelerate inference and training of coordinate-based MLPs for implicit neural representations by proposing a new split MLP architecture, CoordX. With CoordX, the initial layers are split to learn each dimension of the input coordinates separately. The intermediate features are then fused by the last layers to generate the learned signal at the corresponding coordinate point. This significantly reduces the amount of computation required and leads to large speedups in training and inference, while achieving similar accuracy as the baseline MLP. This approach thus aims at first learning functions that are a decomposition of the original signal and then fusing them to generate the learned signal. Our proposed architecture can be generally used for many implicit neural representation tasks with no additional memory overheads. We demonstrate a speedup of up to 2.92x compared to the baseline model for image, video, and 3D shape representation and rendering tasks.

研究动机与目标

• 解决基于坐标的MLP在隐式神经表示中训练与推理的高计算成本问题。
• 克服标准MLP中联合处理完整坐标点所导致的效率低下，尤其是在高分辨率信号场景下。
• 开发一种通用架构，在不增加内存开销的前提下加速推理与训练。
• 为图像、视频和3D形状表示以及新视角合成等多样化任务提供更快的渲染与学习能力。
• 通过增加分割分支的特征维度等架构修改，探索速度、精度与模型容量之间的权衡。

提出的方法

• 将输入坐标分解为独立维度（如x、y、z），并通过独立的初始MLP分支分别处理每个维度。
• 在网络第一阶段，对每个坐标维度独立应用共享的全连接层。
• 使用共享的最终MLP将分割分支的输出进行融合，生成最终的信号预测。
• 引入缩减维度R，以在不显著增加模型大小的情况下提升分割分支的表征能力。
• 采用SIREN初始化，以在图像重建等高频任务中提升信号拟合性能。
• 将该分割架构应用于图像、视频和3D形状表示等多种任务，实现一致的速度提升。

实验结果

研究问题

• RQ1 在MLP中将输入坐标维度分离处理，是否能在不损失表征精度的前提下减少计算量？
• RQ2 在不同类型的信号中，该分割架构与标准MLP相比，在训练与推理速度方面表现如何？
• RQ3 增加缩减维度R对表征质量与计算效率有何影响？
• RQ4 所提出的架构能否在新视角合成与3D重建等多样化隐式神经表示任务中实现泛化？
• RQ5 在扩展分割架构时，模型速度、精度与参数量之间存在何种权衡？

主要发现

• CoordX在图像、视频和3D形状任务中，与标准基于坐标的MLP相比，推理与训练速度最高提升2.92倍。
• 当R=1时，基线CoordX模型的PSNR相比标准MLP下降3dB（从40.25降至37.08），表明存在轻微精度损失。
• 通过R++策略将R增至3后，PSNR提升至43.55，超过标准MLP的40.25。
• 即使模型大小达到4.78MB（R=3，R++），训练与推理速度仍快于基线MLP，证明了效率优势。
• R++策略（增加分支的特征尺寸）在相同R值下，比增加融合前的单元数量更有效。
• 当R增加时，该方法保持与基线模型相近的精度，表明该分割架构可扩展至匹配或超越标准MLP的性能。