[論文レビュー] Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains

Matthew Tancik, Pratul P. Srinivasan+7 more|arXiv (Cornell University)|Jun 18, 2020

Neural Networks and Applications参考文献 42被引用数 1,213

ひとこと要約

本論文は、入力座標にフーリエ特徴マッピングを適用することで、ニューラルタンジェントカーネルを調整可能な定常カーネルへ変換し、低次元設定においてMLPが高周波数関数を学習できるようになることを示しており、複数の視覚・グラフィックスタスクで性能を向上させる。

ABSTRACT

We show that passing input points through a simple Fourier feature mapping enables a multilayer perceptron (MLP) to learn high-frequency functions in low-dimensional problem domains. These results shed light on recent advances in computer vision and graphics that achieve state-of-the-art results by using MLPs to represent complex 3D objects and scenes. Using tools from the neural tangent kernel (NTK) literature, we show that a standard MLP fails to learn high frequencies both in theory and in practice. To overcome this spectral bias, we use a Fourier feature mapping to transform the effective NTK into a stationary kernel with a tunable bandwidth. We suggest an approach for selecting problem-specific Fourier features that greatly improves the performance of MLPs for low-dimensional regression tasks relevant to the computer vision and graphics communities.

研究の動機と目的

• 低次元の視覚/グラフィックスタスクにおける座標ベースのMLPのスペクトルバイアスを動機づけ、分析する。
• NTKを調整可能な定常カーネルへ変換するフーリエ特徴マッピングを提案する。
• 2D/3D回帰タスクおよびビュー合成における実証的性能向上を示す。
• 高周波成分の学習を改善するための問題特異的なフーリエ特徴の選択に関する指針を提供する。

提案手法

• 入力座標をフーリエ特徴マッピング gamma(v) で埋め込み、周波数 b_j とスケール a_j を含む正弦/余弦成分を含む。
• gamma がNTKを定常カーネル k_gamma に変換する様子と、結合カーネル h_NTK ◦ h_gamma が学習ダイナミクスに与える影響を分析する。
• 等方的な周波数スケールを用いたランダムフーリエ特徴 (RFF) を用いてカーネル帯域幅を調整し、スペクトルバイアスを緩和する。
• 直接監督および間接監督の下で、低次元回帰タスク（2D画像、3D形状、CT/MRI、NeRF様のビュー合成）で座標ベースのMLPを訓練する。
• No mapping、Basic、Positional encoding、Gaussian RFF、単純なオン軸ベースラインを含むマッピングを比較して、タスク間の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 フーリエ特徴マッピングは、視覚/グラフィックスタスクにおける低次元回帰における標準MLPのスペクトルバイアスを緩和できるか。
• RQ2 フーリエ特徴の周波数帯域幅とサンプリング戦略がNTKスペクトル、収束速度、一般化にどのように影響するか。
• RQ3 調整されたスケールを持つランダムフーリエ特徴は、より高次元の問題で密なフーリエ特徴セットに匹敵するか、あるいはそれを上回るか。
• RQ4 どのタスク（2D/3D、直接/間接監督）が、精度と収束の点でフーリエ特徴埋め込みの恩恵を最も受けるか。
• RQ5 与えられたタスクに対してフーリエ特徴パラメータを選択する際の実用的な指針は何か。

主な発見

• フーリエ特徴マッピングはNTKを定常カーネルへ変換し、その帯域幅を調整可能にし、標準的なMLPより高い周波数の学習を可能にする。
• 適切に選択されたスケールを持つランダムフーリエ特徴は、幅広い低次元回帰タスクの性能を大幅に向上させる。
• フーリエ特徴スペクトルの幅（周波数サンプルのスケール）は、性能において分布形状の正確さよりも重要である。
• フーリエ特徴の疎なランダムサンプリングは、密な特徴セットの性能に匹敵し、高次元にもスケーラブルなアプローチを提供する。
• Gaussianランダムフーリエ特徴が一貫して他の特徴マッピングを上回っている。