[논문 리뷰] Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains

Matthew Tancik, Pratul P. Srinivasan외 7명|arXiv (Cornell University)|2020. 06. 18.

Neural Networks and Applications참고 문헌 42인용 수 1,213

한 줄 요약

이 논문은 입력 좌표에 푸리에 특징 매핑을 적용함으로써 MLP가 저차원 설정에서 고주파 함수들을 학습하도록 만들고, 이를 통해 신경 접점 커널(NTK)을 조정 가능한 정지 커널로 변환하여 여러 비전/그래픽 작업에서 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

We show that passing input points through a simple Fourier feature mapping enables a multilayer perceptron (MLP) to learn high-frequency functions in low-dimensional problem domains. These results shed light on recent advances in computer vision and graphics that achieve state-of-the-art results by using MLPs to represent complex 3D objects and scenes. Using tools from the neural tangent kernel (NTK) literature, we show that a standard MLP fails to learn high frequencies both in theory and in practice. To overcome this spectral bias, we use a Fourier feature mapping to transform the effective NTK into a stationary kernel with a tunable bandwidth. We suggest an approach for selecting problem-specific Fourier features that greatly improves the performance of MLPs for low-dimensional regression tasks relevant to the computer vision and graphics communities.

연구 동기 및 목표

• 좌표 기반 MLP의 스펙트럴 바이어스를 저차원 비전/그래픽 작업에서 동기화하고 분석한다.
• NTK를 조정 가능한 정지 커널로 변환하기 위한 푸리에 특징 매핑을 제안한다.
• 2D/3D 회귀 작업과 뷰 합성에서 실증적 성능 향상을 입증한다.
• 고주파 콘텐츠 학습 향상을 위해 문제 특성에 맞춘 푸리에 특징 선택에 대한 가이드를 제공한다.

제안 방법

• 입력 좌표를 주파수 b_j와 스케일 a_j를 가진 사인/코사인 성분을 포함하는 푸리에 특징 매핑 gamma(v)로 임베딩한다.
• gamma가 NTK를 정지 커널 k_gamma로 변환하는 방식과 결합 커널 h_NTK ◦ h_gamma가 학습 다이나믹스에 미치는 영향을 분석한다.
• 등방성 주파수 스케일을 가진 랜덤 푸리에 특징(RFF)을 사용하여 커널 대역폭을 조정하고 스펙트럴 바이어스를 완화한다.
• 직접 감독 및 간접 감독 하에 2D 이미지, 3D 형태, CT/MRI, NeRF 유사 뷰 합성 등 저차원 회귀 과제에서 좌표 기반 MLP를 학습한다.
• 매핑 비교에는 No mapping, Basic, Positional encoding, Gaussian RFF, 그리고 축-단순 기저선(simple on-axis baseline)을 포함한 매핑들을 비교하여 다양한 과제에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 푸리에 특징 매핑이 비전/그래픽 과제에서 저차원 회귀를 위한 표준 MLP의 스펙트럼 바이어스를 완화할 수 있는가?
• RQ2 푸리에 특징의 주파수 대역폭과 샘플링 전략이 NTK 스펙트럼, 수렴 속도 및 일반화에 어떤 영향을 미치는가?
• RQ3 조정된 스케일의 임의의 푸리에 특징이 고차원 문제에서 밀집 푸리에 특징 세트에 필적하거나 이를 능가하는가?
• RQ4 정확성과 수렴 측면에서 어떤 작업들(2D/3D, 직접 감독/간접 감독)이 푸리에 특징 임베딩의 가장 큰 이점을 얻는가?
• RQ5 주어진 과제에 대해 푸리에 특징 매개변수를 선택하기 위한 실용적 지침은 무엇인가?

주요 결과

• 푸리에 특징 매핑은 NTK를 정지 커널로 변환하고 대역폭을 조정할 수 있게 하여 표준 MLP보다 더 높은 주파수를 학습하게 한다.
• 적절히 선택된 스케일을 갖는 임의의 푸리에 특징은 다양한 저차원 회귀 과제에서 성능을 크게 향상시킨다.
• 푸리에 특징 스펙트럼의 너비(주파수 샘플의 스케일)가 성능에 있어 분포의 정확한 형태보다 더 중요하다.
• 푸리에 특징의 희소 임의 샘플링은 조밀한 특징 세트의 성능과 일치할 수 있어 고차원에서 확장 가능한 접근법을 제공한다.
• 보고된 실험에서 가우시안 무작위 푸리에 특징이 지속적으로 다른 특징 매핑보다 우수한 성능을 보였다.