[论文解读] Signal Processing for Implicit Neural Representations

Dejia Xu, Peihao Wang+3 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出 INSP-Net，一种新型框架，可在隐式神经表示（INRs）上实现直接、可微分的信号处理，无需显式解码。通过利用闭式高阶微分算子和可学习加权机制，INSP-Net 近似连续卷积滤波器，并实现基于 INR 的模型（如 INSP-ConvNet）的端到端训练，在隐式场上的低层次图像处理与高层次分类任务中均达到最先进性能。

ABSTRACT

Implicit Neural Representations (INRs) encoding continuous multi-media data via multi-layer perceptrons has shown undebatable promise in various computer vision tasks. Despite many successful applications, editing and processing an INR remains intractable as signals are represented by latent parameters of a neural network. Existing works manipulate such continuous representations via processing on their discretized instance, which breaks down the compactness and continuous nature of INR. In this work, we present a pilot study on the question: how to directly modify an INR without explicit decoding? We answer this question by proposing an implicit neural signal processing network, dubbed INSP-Net, via differential operators on INR. Our key insight is that spatial gradients of neural networks can be computed analytically and are invariant to translation, while mathematically we show that any continuous convolution filter can be uniformly approximated by a linear combination of high-order differential operators. With these two knobs, INSP-Net instantiates the signal processing operator as a weighted composition of computational graphs corresponding to the high-order derivatives of INRs, where the weighting parameters can be data-driven learned. Based on our proposed INSP-Net, we further build the first Convolutional Neural Network (CNN) that implicitly runs on INRs, named INSP-ConvNet. Our experiments validate the expressiveness of INSP-Net and INSP-ConvNet in fitting low-level image and geometry processing kernels (e.g. blurring, deblurring, denoising, inpainting, and smoothening) as well as for high-level tasks on implicit fields such as image classification.

研究动机与目标

• 解决在不进行显式解码或离散化的情况下编辑隐式神经表示（INRs）的挑战。
• 开发一种连续、可微分的信号处理框架，以保持 INRs 的紧凑性和连续性。
• 证明连续卷积核可被高阶微分算子的线性组合统一近似。
• 构建首个直接在隐式场中运行的卷积神经网络（INSP-ConvNet）。
• 在包括图像处理和音频去噪在内的多样化任务上验证该框架，结果表明其在无需解码的情况下表现优异。

提出的方法

• 提出 INSP-Net 作为可在 INRs 上直接操作的可微分信号处理网络，利用解析高阶导数。
• 将高阶空间导数（如梯度、拉普拉斯算子）的计算图作为信号变换的基函数。
• 通过可学习加权机制（类似 Inception 的融合方式）融合导数分支，其中融合权重通过端到端方式训练。
• 该框架基于理论证明：任意连续卷积核可被高阶微分算子的线性组合统一近似。
• 通过级联 INSP-Net 层构建 INSP-ConvNet，其中每一层通过可学习权重组合前序层的导数，以模拟卷积滤波器。
• 通过坐标级输入扰动支持数据增强，同时保持表示的隐式特性。

实验结果

研究问题

• RQ1 是否可以在不显式解码或离散化表示的情况下，在 INRs 上执行连续信号处理操作？
• RQ2 高阶微分算子是否能在连续域中解析近似任意连续卷积滤波器？
• RQ3 如何直接在 INR 参数上构建可学习、可微分的信号处理算子？
• RQ4 是否可以训练并执行一个完整的卷积神经网络，直接在隐式神经表示上运行而无需像素级访问？
• RQ5 INSP-Net 和 INSP-ConvNet 在隐式场上的低层次与高层次视觉任务中，其泛化能力达到何种程度？

主要发现

• INSP-Net 在图像去噪任务中表现优异，在 DIV-2k 测试集上 PSNR 达 23.86，SSIM 达 0.65，优于均值滤波以及 MPRNet 和 MAXIM 的关键指标。
• 该框架成功在 INRs 上直接执行边缘检测、模糊化、去模糊、图像修复和几何平滑处理，视觉结果与真实值高度一致。
• 音频去噪实验表明，INSP-Net 能有效恢复基于 SIREN 的 INRs 编码的噪声音频信号，视觉与定量结果均优于输入。
• INSP-ConvNet 仅使用隐式场表示即在图像分类任务中取得优异性能，证明了在 INRs 上实现端到端学习的可行性，无需像素解码。
• 理论分析证实，连续卷积算子可被高阶微分算子的线性组合统一近似，从而为框架设计提供理论依据。
• 消融研究显示，INSP-Net 中的可学习融合机制对性能至关重要，手工设计的权重导致性能下降。