[論文レビュー] Implicit Neural Representations with Periodic Activation Functions

Vincent Sitzmann, Julien Martel+3 more|arXiv (Cornell University)|Jun 17, 2020

Image and Signal Denoising Methods参考文献 42被引用数 263

ひとこと要約

本論文はSIRENsを紹介します。正弦活性化を持つニューラルネットワークが複雑な信号とその微分を正確に表現でき、PDEの解法と暗黙的関数空間に対する priors の学習を可能にします。

ABSTRACT

Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or Sirens, are ideally suited for representing complex natural signals and their derivatives. We analyze Siren activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how Sirens can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine Sirens with hypernetworks to learn priors over the space of Siren functions.

研究の動機と目的

• グリッドベースのアプローチを超える細部をモデリングできる連続的で微分可能な暗黙表現を動機づける。
• 周期的な活性化が信号とその微分を正確に表現できることを示す。
• 画像/動画/音声の表現、符号付き距離関数、境界値問題の解法などの応用を示す。
• Hypernetworkを用いてSIREN関数空間における priors の学習を探る。

提案手法

• Phiを、sin活性化を持つMLPでパラメータ化された暗黙的ニューラル表現として定義する: Phi(x)=W_n(phi_{n-1}(...phi_0(x))+b_n, with phi_i(x)=sin(W_i x + b_i).
• トレーニングを安定させるために、層間の活性化分布を保つ原理的な初期化を提案する。
• 域 Omega 上のPhiとその導関数を含む制約C_mを満たす損失を用いて、学習を制約充足問題として位置づける。
• 特定のケースでは直接的な関数値を要求せず、勾配（導関数、ラプラシアン）や他のPDE関連項目を監視して targets に適合させる（例: Poisson、Eikonal/SDF、Helmholtz）。
• 勾配/ラプラシアン監視と境界条件を通じてPoisson方程式の解法を示し、Poisson画像編集を行う；Eikonal（SDF）問題を解く；Helmholtzと波動方程式に取り組む；およびSIREN関数空間の priors を学習するために hypernetworks を適用する。

実験結果

リサーチクエスチョン

• RQ1 周期的な正弦活性化は、ReLU系のネットワークよりも高周波の細部と高階微分を捉える暗黙的ニューラル表現を可能にするか。
• RQ2 SIRENの重みと初期化は、活性化分布を保ち、深いアーキテクチャを可能にするようにどのように選ぶべきか。
• RQ3 SIRENは関数値ではなく導関数による監視によって境界値問題やPDEを直接解くことができるか。
• RQ4 Hypernetworkを用いてSIREN関数空間の priors を学習し、inpaintingや条件付き生成のようなタスクを可能にできるか。

主な発見

• SIRENは信号（画像、動画、音声）の細部や導関数を表現する点で、ReLUベースのMLPを上回る。
• 原理的な初期化により活性化分布を保持し、深いSIRENの学習をより速く堅牢にする。
• SIRENは勾配監視と境界条件を通じてPoisson、Eikonal（SDF）、Helmholtz、波動方程式を解くことができる。
• SIRENはHypernetworksを介して暗黙的関数空間の priors を学習し、CelebA の様々な文脈でのインペインティングなどのタスクを改善する。