[논문 리뷰] Polynomial Neural Fields for Subband Decomposition and Manipulation

Guandao Yang, Sagie Benaim외 6명|arXiv (Cornell University)|2023. 02. 09.

Model Reduction and Neural Networks참고 문헌 70인용 수 8

한 줄 요약

이 논문은 해석 가능하고 제어 가능한 부분대 분해를 가능하게 하는 신경장 기반 프레임워크인 Polynomial Neural Fields (PNFs)를 도입하며, Fourier PNFs는 출력이 주파수 대역으로 국한되고 상한/하한이 제어되며, 텍스처 전이 및 스케일-공간 작업을 가능하게 하면서 최첨단 성능을 달성한다.

ABSTRACT

Neural fields have emerged as a new paradigm for representing signals, thanks to their ability to do it compactly while being easy to optimize. In most applications, however, neural fields are treated like black boxes, which precludes many signal manipulation tasks. In this paper, we propose a new class of neural fields called polynomial neural fields (PNFs). The key advantage of a PNF is that it can represent a signal as a composition of a number of manipulable and interpretable components without losing the merits of neural fields representation. We develop a general theoretical framework to analyze and design PNFs. We use this framework to design Fourier PNFs, which match state-of-the-art performance in signal representation tasks that use neural fields. In addition, we empirically demonstrate that Fourier PNFs enable signal manipulation applications such as texture transfer and scale-space interpolation. Code is available at https://github.com/stevenygd/PNF.

연구 동기 및 목표

• 부분대 분해를 통해 해석 가능하고 제어 가능한 신경장을 설계하고 동기를 부여한다.
• PNFs에 대한 이론적 프레임워크를 개발하고 부분대 조작을 가능하게 하는 기저(예: Fourier)를 확인한다.
• 지정된 주파수 부분대에 출력이 국한되고 방향 제어가 가능한 Fourier PNFs를 만든다.
• Fourier PNFs가 이미지, 3D SDFs, 및 복사화 필드에서 경쟁력 있거나 우수한 신호 표현 성능을 달성함을 보여준다.
• PNF 부분대(subbands)를 이용한 텍스처 전이 및 스케일-공간 보간과 같은 다운스트림 조작 작업을 선보인다.

제안 방법

• PNF를 기저 기반 입력 인코딩 gamma를 갖는 다변수 다항식의 합성으로 정의한다.
• 기저가 곱에 대해 닫혀 있으면 PNF 출력은 기저 함수의 유한 선형 조합임을 보인다.
• PNF-제어 가능한 부분대 집합을 도입하여 PNFs의 덧셈 및 곱셈에서 예측 가능한 상호작용을 가능하게 한다.
• 제어 가능한 부분대로 프랙션화된 Fourier 공간을 타일링하고 부분대 제한 PNF를 집계하는 네트워크 아키텍처를 도출하여 Fourier PNFs로 특수화한다.
• 각 부분대 제한 PNF가 최종 출력에 기여하는 앙상블 Fourier PNF를 제안하고, 파라미터 급증을 줄이는 분해를 제시한다.
• 2D 신호를 위한 실용적 타일링 전략(원형/직사각형 타일링)을 제공하고 방향성 기반 부분대에 대해 논의한다.
• 이미지, 3D SDF, NeRF 스타일 작업에서 BACON, SIREN, Random Fourier Features와의 학습/설정을 비교하면서 실험한다.

Figure 3: Illustration of Fourier PNF architecture. Fourier PNF is an ensemble model. The final result is summed over a series of PNFs $F_{j}$ , whose structure is shown on the left side of the figure.

실험 결과

연구 질문

• RQ1 PNFs가 표현력을 희생하지 않으면서 해석 가능하고 부분대 기반의 제어를 신경장 출력에 적용할 수 있는가?
• RQ2 주파수 도메인 부분대를 PNFs 내에서 어떻게 설계하고 조작하여 정밀한 텍스처 및 스케일-공간 작업을 가능하게 하는가?
• RQ3 Fourier PNFs가 이전 방법들(BACON 등)과 비교해 더 뛰어난 제어 수준을 제공하면서 최첨단 성능에 도달하는가?
• RQ4 부분대 분해 PNFs가 텍스처 전이 및 스케일-공간 보간과 같은 다운스트림 작업을 효과적으로 지원하는가?
• RQ5 PNFs에서 부분대 제어를 강제할 때(예: 메모리) 실용적 트레이드오프는 무엇인가?

주요 결과

• Fourier PNFs는 이미지, 3D 형상, 및 방사효과 필드에서 신호 표현 측면에서 최첨단 수준에 도달하거나 이를 뛰어넘는다.
• PNFs는 주파수 영역에서 미세한 부분대 국지화를 가능하게 하며, 하한대 및 상한대의 제약과 방향성에 의해 출력이 제한된다.
• 부분대가 제한된 구성요소로 구성된 앙상블 Fourier PNF 아키텍처는 효과적인 부분대 분해와 조작을 달성한다.
• PNFs는 특정 주파수 부분대를 겨냥하여 텍스처 전이 및 스케일-공간 보간과 같은 기능을 보여준다.
• 일부 작업(예: 3D SDF 적합)에서 수렴 속도가 더 빨라지며 최적화 단계가 적어 실제 wall-clock 시간도 경쟁력이 있을 수 있다.
• BACON 및 SIREN과 비교할 때 PNFs는 유사한 파라미터 수에서 유사하거나 더 나은 품질을 제공한다.

Figure 5: LHS: Convergence time in terms of number of steps/iterations for the Thai Statue model [ 64 ] . The x-axis shows the number of steps (K) and the y-axis shows the validation Chamfer Distance ( $\times 10^{6}$ ). RHS: Qualitative comparison for the Thai Statue model [ 64 ] .