[論文レビュー] Content-Aware Frequency Encoding for Implicit Neural Representations with Fourier-Chebyshev Features

Junbo Ke, Yangyang Xu+2 more|arXiv (Cornell University)|Mar 1, 2026

Handwritten Text Recognition Techniques被引用数 0

ひとこと要約

tldr: CAFE adaptively synthesizes a rich frequency spectrum for implicit neural representations by parallel linear encoders and Hadamard fusion, extended by Chebyshev features (CAFE+) for improved low-frequency stability and high-frequency detail.

ABSTRACT

Implicit Neural Representations (INRs) have emerged as a powerful paradigm for various signal processing tasks, but their inherent spectral bias limits the ability to capture high-frequency details. Existing methods partially mitigate this issue by using Fourier-based features, which usually rely on fixed frequency bases. This forces multi-layer perceptrons (MLPs) to inefficiently compose the required frequencies, thereby constraining their representational capacity. To address this limitation, we propose Content-Aware Frequency Encoding (CAFE), which builds upon Fourier features through multiple parallel linear layers combined via a Hadamard product. CAFE can explicitly and efficiently synthesize a broader range of frequency bases, while the learned weights enable the selection of task-relevant frequencies. Furthermore, we extend this framework to CAFE+, which incorporates Chebyshev features as a complementary component to Fourier bases. This combination provides a stronger and more stable frequency representation. Extensive experiments across multiple benchmarks validate the effectiveness and efficiency of our approach, consistently achieving superior performance over existing methods. Our code is available at https://github.com/JunboKe0619/CAFE.

研究の動機と目的

• objective: 1) 隠れニューラル表現（INR）におけるスペクトルバイアスを解消し，高周波の細部表現を改善する。
• 2) 周波数合成の負担をMLPから学習可能なエンコーディング段に移す。
• 3) 拡張された周波数集合からタスクに関連する周波数を適応的に選択できるようにする。

提案手法

• method: 1) 入力をフーリエ特徴量でエンコードし、N本の並列線形層に渡す。
• 2) Hadamard積によって並列投影を融合し、CAFEエンコード特徴を形成する。
• 3) フーリエ特徴とチェビシェフ特徴を組み合わせて（CAFE+）低周波および高周波表現を強化することも選択可能。
• 4) 得られた特徴をMLP本体に入力して信号再構成を行う。
• 5) 周波数適合性が拡張されるという理論分析を提供する：CAFEは O(M^N 3^{N-1}) の周波数を合成でき、チェビシェフ特徴は堅牢な低周波表現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 research_questions: 1) 適応的なエンコーディング段における周波数合成は、固定フーリエ基底と比べてINRの性能を向上させるか。
• RQ2 2) フーリエとチェビシェフ特徴を組み合わせたCAFE+は、周波数帯ごとの安定性と再構成にどのような影響を与えるか。
• RQ3 3) 並列線形層の数が表現力と学習コストに与える影響はどの程度か。
• RQ4 4) CAFEとチェビシェフ成分が2D/3D INRタスクおよびNeRFでの性能向上にどの程度寄与するか。

主な発見

• key_findings: 1) CAFEは固定フーリエ基底を超える表現可能周波数空間を明示的に拡張し，高周波の細部表現を向上させる。
• 2) フーリエ-チェビシェフ特徴を持つCAFE+は低周波の安定性を強化し，高周波適合性を改善する。
• 3) タスク全体で、CAFEおよびCAFE+はSIREN、WIRE、FINER、SCONE、SL2Aなどのベースラインと比較してPSNR/IoU/PSNR類似指標で優位を示す。
• 4) 並列線形層の数を増やすと、学習コストの線形増加という制約を伴いながらも性能が飽和点まで向上する。
• 5) チェビシェフ特徴はフーリエ特徴を補完する堅牢な低周波表現を提供し、低周波ノイズを削減する。