[论文解读] Distilled Low Rank Neural Radiance Field with Quantization for Light Field Compression

Jinglei Shi, Christine Guillemot|arXiv (Cornell University)|Jul 30, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出QDLR-NeRF，一种用于光场压缩的量化蒸馏低秩神经辐射场。通过使用ADMM施加低秩约束，将模型蒸馏至张量列车分解，并采用全局码书对权重进行渐进式量化，该方法将模型大小缩减至原始NeRF的3.3%，同时保持高质量的视图合成效果，在率失真效率方面优于当前最先进压缩方法。

ABSTRACT

We propose in this paper a Quantized Distilled Low-Rank Neural Radiance Field (QDLR-NeRF) representation for the task of light field compression. While existing compression methods encode the set of light field sub-aperture images, our proposed method learns an implicit scene representation in the form of a Neural Radiance Field (NeRF), which also enables view synthesis. To reduce its size, the model is first learned under a Low-Rank (LR) constraint using a Tensor Train (TT) decomposition within an Alternating Direction Method of Multipliers (ADMM) optimization framework. To further reduce the model's size, the components of the tensor train decomposition need to be quantized. However, simultaneously considering the optimization of the NeRF model with both the low-rank constraint and rate-constrained weight quantization is challenging. To address this difficulty, we introduce a network distillation operation that separates the low-rank approximation and the weight quantization during network training. The information from the initial LR-constrained NeRF (LR-NeRF) is distilled into a model of much smaller dimension (DLR-NeRF) based on the TT decomposition of the LR-NeRF. We then learn an optimized global codebook to quantize all TT components, producing the final QDLR-NeRF. Experimental results show that our proposed method yields better compression efficiency compared to state-of-the-art methods, and it additionally has the advantage of allowing the synthesis of any light field view with high quality.

研究动机与目标

• 为解决光场成像中高数据量的挑战，开发一种紧凑且高保真度的表示方法以实现压缩。
• 克服在基于NeRF的光场压缩中联合优化低秩近似与率约束权重量化的技术难题。
• 通过压缩NeRF模型本身而非单个视图，实现光场数据的高效传输。
• 通过知识蒸馏与渐进式量化，在实现激进模型压缩的同时仍保持高质量的视图合成。

提出的方法

• 首先使用交替方向乘子法（ADMM）训练一个低秩约束的NeRF（LR-NeRF），以在低秩约束下优化张量秩。
• 利用张量列车（TT）分解，将LR-NeRF的知识蒸馏到一个更小的、蒸馏后的低秩NeRF（DLR-NeRF）中，以减少参数量。
• 通过k-means聚类学习一个全局码书，以逐层渐进地量化所有TT组件，从第一层到最后一层依次进行。
• 采用共享码书逐层应用量化过程，在显著减小模型大小的同时最小化重建损失。
• 整个流程通过蒸馏将低秩优化与量化分离，从而实现稳定训练与高效压缩。

实验结果

研究问题

• RQ1 低秩近似与权重量化能否在基于NeRF的光场压缩框架中有效结合？
• RQ2 如何在几乎不损失质量的前提下，将低秩约束NeRF的知识迁移至更小的压缩模型中？
• RQ3 采用全局码书的渐进式量化对模型大小与视图合成质量有何影响？
• RQ4 在率失真性能方面，该方法与当前最先进光场压缩技术相比表现如何？

主要发现

• 经过低秩约束、蒸馏与量化后，模型大小从原始NeRF的100%缩减至3.3%，实现30倍的压缩率。
• 从原始NeRF到LR-NeRF，PSNR仅下降3dB，主要归因于相机位姿估计误差与低秩近似。
• 将LR-NeRF蒸馏至DLR-NeRF使模型大小缩小3倍（降至16.7%），且PSNR仅损失0.1dB，表明低秩知识迁移效果显著。
• 渐进式量化将模型大小进一步缩减至原始大小的3.3%，PSNR损失为0.6dB，证明了全局码书的有效性。
• 在合成光场数据上，该方法在率失真性能上显著优于基线方法，且在干净数据上的增益大于真实世界Lytro采集的光场。
• 由于NeRF的隐式场景表示，该方法可实现任意高密度光场视图的高质量合成。