[논문 리뷰] Content-Aware Frequency Encoding for Implicit Neural Representations with Fourier-Chebyshev Features

Junbo Ke, Yangyang Xu외 2명|arXiv (Cornell University)|2026. 03. 01.

Handwritten Text Recognition Techniques인용 수 0

한 줄 요약

CAFE는 병렬 선형 인코더와 Hadamard 융합으로 암시적 신경 표현을 위한 풍부한 주파수 스펙트럼을 적응적으로 합성하고, Chebyshev 특징(CAFE+)으로 확장해 저주파 안정성과 고주파 디테일을 개선합니다.

ABSTRACT

Implicit Neural Representations (INRs) have emerged as a powerful paradigm for various signal processing tasks, but their inherent spectral bias limits the ability to capture high-frequency details. Existing methods partially mitigate this issue by using Fourier-based features, which usually rely on fixed frequency bases. This forces multi-layer perceptrons (MLPs) to inefficiently compose the required frequencies, thereby constraining their representational capacity. To address this limitation, we propose Content-Aware Frequency Encoding (CAFE), which builds upon Fourier features through multiple parallel linear layers combined via a Hadamard product. CAFE can explicitly and efficiently synthesize a broader range of frequency bases, while the learned weights enable the selection of task-relevant frequencies. Furthermore, we extend this framework to CAFE+, which incorporates Chebyshev features as a complementary component to Fourier bases. This combination provides a stronger and more stable frequency representation. Extensive experiments across multiple benchmarks validate the effectiveness and efficiency of our approach, consistently achieving superior performance over existing methods. Our code is available at https://github.com/JunboKe0619/CAFE.

연구 동기 및 목표

• 암시적 신경 표현(INR)에서 고주파 디테일 포착을 방해하는 스펙트럴 바이어스를 해소한다.
• 주파수 합성 부담을 MLP에서 학습 가능한 인코딩 단계로 이전한다.
• 확대된 주파수 집합에서 작업에 관련된 주파수를 적응적으로 선택하도록 한다.

제안 방법

• 푸리에 특징으로 입력을 인코딩하고 N개의 병렬 선형 계층을 통해 전달한다.
• 병렬 프로젝션을 Hadamard 곱으로 융합해 CAFE-인코딩 특징을 형성한다.
• 선택적으로 Fourier 특징과 Chebyshev 특징(CAFE+)을 결합하여 저주파 및 고주파 표현을 강화한다.
• 생성된 특징을 신호 재구성을 위한 MLP 백본에 입력한다.
• 이론적 분석을 통해 확장된 주파수 허용성을 보여준다: CAFE는 O(M^N 3^{N-1}) frequencies를 합성할 수 있으며, Chebyshev 특징은 견고한 저주파 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인코딩 단계에서의 적응적 주파수 합성이 고정된 Fourier 기반과 비교해 INR 성능을 향상시킬 수 있는가?
• RQ2 Fourier과 Chebyshev 특징(CAFE+)의 결합이 주파수 대역 전반의 안정성 및 재구성에 어떤 영향을 미치는가?
• RQ3 병렬 선형 계층의 수가 표현력과 학습 비용에 미치는 영향은?
• RQ4 2D/3D INR 작업 및 NeRF에서 CAFE와 Chebyshev 구성요소가 성능 향상에 기여하는 정도는?

주요 결과

• CAFE는 고정된 Fourier 기반을 넘어 표현 가능한 주파수 공간을 명시적으로 확장하여 고주파 디테일 포착을 더 잘 가능하게 한다.
• CAFE+와 Fourier-Chebyshev 특징을 갖춘 CAFE+는 저주파 안정성이 강화되고 고주파 적합이 개선된다.
• 다양한 작업에서 CAFE 및 CAFE+는 SIREN, WIRE, FINER, SCONE, SL2A 등과 같은 벤치마크보다 우수한 PSNR/IoU/PSNR 유사 지표를 달성한다.
• CAFE의 병렬 선형 계층 수를 늘리면 학습 비용의 선형 증가와 함께 성능이 포화점까지 향상된다.
• Chebyshev 특징은 Fourier 특징을 보완하는 견고한 저주파 표현을 제공하여 저주파 노이즈를 줄인다.