[论文解读] CNeRV: Content-adaptive Neural Representation for Visual Data

Hao Chen, Matt Gwilliam+3 more|arXiv (Cornell University)|Nov 18, 2022

Advanced Image Processing Techniques被引用 8

一句话总结

CNeRV 提出了一种用于视觉数据的内容自适应神经表示方法，结合了自编码器的泛化能力与隐式神经表示的紧凑性。通过使用单层小型编码器生成内容感知嵌入，CNeRV 在未见帧上的编码速度提升了120倍，并在重建质量与速度方面优于 NeRV 和自编码器，尤其在未见图像上表现更优。

ABSTRACT

Compression and reconstruction of visual data have been widely studied in the computer vision community, even before the popularization of deep learning. More recently, some have used deep learning to improve or refine existing pipelines, while others have proposed end-to-end approaches, including autoencoders and implicit neural representations, such as SIREN and NeRV. In this work, we propose Neural Visual Representation with Content-adaptive Embedding (CNeRV), which combines the generalizability of autoencoders with the simplicity and compactness of implicit representation. We introduce a novel content-adaptive embedding that is unified, concise, and internally (within-video) generalizable, that compliments a powerful decoder with a single-layer encoder. We match the performance of NeRV, a state-of-the-art implicit neural representation, on the reconstruction task for frames seen during training while far surpassing for frames that are skipped during training (unseen images). To achieve similar reconstruction quality on unseen images, NeRV needs 120x more time to overfit per-frame due to its lack of internal generalization. With the same latent code length and similar model size, CNeRV outperforms autoencoders on reconstruction of both seen and unseen images. We also show promising results for visual data compression. More details can be found in the project pagehttps://haochen-rye.github.io/CNeRV/

研究动机与目标

• 为解决隐式神经表示（如 NeRV）在视频压缩过程中对未见帧泛化能力差的问题。
• 结合自编码器的泛化能力与隐式表示的紧凑性和简洁性。
• 实现在无需逐帧过拟合情况下的快速、内容感知编码，尤其适用于未见图像。
• 与 SOTA 方法（如 NeRV 和自编码器）相比，实现更优的重建质量与编码速度。
• 通过学习到的嵌入和模型参数，展示在视觉数据压缩中的优异性能。

提出的方法

• 引入一种内容自适应嵌入（CAE），用于编码视觉内容，而非依赖帧索引或位置编码。
• 采用单层小型网络编码器，从输入帧生成紧凑且内容感知的潜在码。
• 使用强大且共享的解码器网络，从内容自适应嵌入中重建图像。
• 设计模型使其具备内在泛化能力，无需逐帧过拟合即可实现跳过（未见）帧的高质量重建。
• 利用解码器的归纳偏置存储大部分视觉先验，从而最小化对大尺寸潜在码的依赖。
• 通过在部分帧上进行训练，同时泛化到其他帧，实现对已见和未见图像的重建优化。

实验结果

研究问题

• RQ1 神经表示能否在不发生逐帧过拟合的情况下，实现对未见帧的高质量重建？
• RQ2 与基于索引或位置编码的方法相比，内容自适应嵌入在泛化能力和速度方面表现如何？
• RQ3 紧凑的单层编码器能否在重建质量与编码速度上超越更大的自编码器？
• RQ4 结合自编码器风格的泛化能力与隐式表示的紧凑性，是否能提升视觉数据压缩性能？
• RQ5 与 H.264 和 HEVC 等传统编解码器相比，CNeRV 在率失真权衡方面表现如何？

主要发现

• 与自编码器相比，CNeRV 在未见帧上的 PSNR 提升了 +3.5 dB，同时在已见帧上也保持了高性能。
• CNeRV 的未见帧编码速度比 NeRV 快 120 倍，后者需依赖逐帧过拟合才能实现可接受的重建质量。
• 在相同潜在码长度和相近模型规模下，CNeRV 在已见与未见图像的重建中均优于自编码器。
• CNeRV 的重建质量优于 NeRV，伪影更少，且无前序帧的信号泄漏。
• 在压缩完整视频时，CNeRV 在相似比特率下，PSNR 和 SSIM 均优于 H.264 和 HEVC，涵盖已见与未见帧。
• 该方法可实现快速帧插值，通过插值嵌入达到接近 CNeRV 的性能，但在复杂序列（如 Bunny）上性能有所下降。