[论文解读] Implicit Neural Representations with Periodic Activation Functions

Vincent Sitzmann, Julien Martel+3 more|arXiv (Cornell University)|Jun 17, 2020

Image and Signal Denoising Methods参考文献 42被引用 263

一句话总结

本文介绍 SIRENs，即具正弦激活的神经网络，能够准确表示复杂信号及其导数，从而解决偏微分方程并学习隐式函数空间的先验。

ABSTRACT

Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or Sirens, are ideally suited for representing complex natural signals and their derivatives. We analyze Siren activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how Sirens can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine Sirens with hypernetworks to learn priors over the space of Siren functions.

研究动机与目标

• 推动一种连续且可微的隐式表示，以建模超越格点方法的精细细节。
• 展示周期性激活使信号及其导数能够被准确表示。
• 展示包括图像/视频/音频表示、符号距离函数以及边界值问题求解等应用。
• 使用超网络探索 SIREN 函数空间的学习先验。

提出的方法

• 将Phi定义为一个由带有正弦激活函数的多层感知机参数化的隐式神经表示：Phi(x)=W_n(phi_{n-1}(...phi_0(x))+b_n)，其中 phi_i(x)=sin(W_i x + b_i)。
• 提出一种有原则性的初始化，能够在各层保持激活分布以稳定训练。
• 将学习建模为一个约束满足问题，使用一个在域Ω上强制Phi及其导数等约束C_m的损失。
• 对导数（梯度、拉普拉斯算子）或其他与PDE相关的项进行监督，以在某些情况下拟合目标，而不需要直接的函数值（例如泊松、Eikonal/SDF、亥姆霍兹方程）。
• 通过梯度/拉普拉斯监督以及泊松图像编辑演示泊松方程的解；求解 Eikonal（SDF）问题；处理亥姆霍兹与波动方程；并应用超网络在 SIREN 函数空间学习先验。

实验结果

研究问题

• RQ1 周期性正弦激活是否能够使隐式神经表示更好地捕捉高频细节和高阶导数，比基于 ReLU 的网络更优？
• RQ2 应如何选择 SIREN 的权重和初始化，以保持激活分布并支持深层网络？
• RQ3 SIREN 是否能够通过对导数的监督而非函数值来直接求解边界值问题和偏微分方程？
• RQ4 是否可以使用超网络在 SIREN 函数空间学习先验，以支持如修补缺损/条件生成等任务？

主要发现

• SIRENs 在表示信号的细节及其导数方面优于基于 ReLU 的 MLPs（图像、视频、音频）。
• 一种有原则性的初始化能保持激活分布，使深层 SIREN 的训练更快且更鲁棒。
• SIRENs 通过导数监督和边界条件，能够求解泊松、Eikonal（SDF）、亥姆霍兹及波动方程。
• SIRENs 通过超网络在隐式函数空间学习先验，在如 CelebA 上的上下文变化修补等任务中得到提升。