[논문 리뷰] Implicit Neural Representations with Periodic Activation Functions

Vincent Sitzmann, Julien Martel외 3명|arXiv (Cornell University)|2020. 06. 17.

Image and Signal Denoising Methods참고 문헌 42인용 수 263

한 줄 요약

논문은 SIRENs를 도입합니다, 주사인 활성화가 있는 신경망으로 복잡한 신호와 그 도함수를 정확히 표현하여 PDE 해결 및 암시 함수 공간에 대한 선험(priors) 학습을 가능하게 합니다.

ABSTRACT

Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or Sirens, are ideally suited for representing complex natural signals and their derivatives. We analyze Siren activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how Sirens can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine Sirens with hypernetworks to learn priors over the space of Siren functions.

연구 동기 및 목표

• 격자 기반 접근 방식을 넘어서는 미세한 디테일을 모델링할 수 있는 연속적이고 미분가능한 암시 표현의 필요성을 제시한다.
• 주기적 활성화가 신호와 그 도함수의 정확한 표현을 가능하게 함을 보인다.
• 이미지/비디오/오디오 표현, 부호화된 거리 함수(SDF), 경계값 문제 해결 등 다양한 응용을 시연한다.
• 하이퍼네트워크를 사용하여 SIREN 함수 공간에 대한 학습된 사전 지식을 탐구한다.

제안 방법

• Phi를 sine 활성화를 가진 MLP로 매개변수화된 암시적 신경 표현으로 정의한다: Phi(x)=W_n(phi_{n-1}(...phi_0(x))+b_n, with phi_i(x)=sin(W_i x + b_i).
• 훈련의 안정화를 위해 각 층의 활성화 분포를 보존하는 원칙적 초기화를 제안한다.
• 도메인 Ω 상에서 Φ와 그 도함수를 포함하는 제약 C_m를 강제하는 손실을 사용하여 학습을 제약 만족 문제로 재구성한다.
• 도함수(그래디언트, 람다) 또는 기타 PDE 관련 항들을 감독하여 타깃에 맞추되 일부 경우에는 직접 함수 값을 필요로 하지 않는다(예: Poisson, Eikonal/SDF, Helmholtz).
• 그래디언트/랩라시안 감독을 통한 Poisson 방정식의 해를 시현하고 Poisson 영상 편집; Eikonal(SDF) 문제 해결; Helmholtz 및 파동 방정식을 다루며; SIREN 함수 공간에 대한 priors를 학습하기 위해 하이퍼네트워크를 적용한다.

실험 결과

연구 질문

• RQ1 주기적 사인 활성화가 ReLU 기반 네트워크보다 고주파 디테일과 고차 도함수를 포착하는 데 더 우수한 암시적 신경 표현을 가능하게 할 수 있는가?
• RQ2 활성화 분포를 보존하고 깊은 아키텍처를 가능하게 하려면 SIREN의 가중치와 초기화를 어떻게 선택해야 하는가?
• RQ3 도함수에 대한 감독으로 경계값 문제와 PDE를 직접 해결할 수 있는가?
• RQ4 하이퍼네트워크를 이용해 SIREN 함수 공간에 대한 priors를 학습하여 인페인팅이나 조건부 생성과 같은 작업을 가능하게 할 수 있는가?

주요 결과

• SIRENs는 신호의 미세한 디테일과 도함수를 표현하는 데 있어 ReLU 기반 MLP보다 우수하다(이미지, 비디오, 오디오).
• 원칙적 초기화가 활성화 분포를 보존하여 딥 SIREN의 더 빠르고 강건한 학습을 가능하게 한다.
• SIREN은 도함수 감독과 경계 조건을 통해 Poisson, Eikonal(SDF), Helmholtz 및 파동 방정식을 해결할 수 있다.
• SIRENs는 하이퍼네트워크를 통해 암시 함수 공간에 대한 학습된 priors를 가능하게 하여 varying context의 CelebA 인페인팅과 같은 작업을 개선한다.