[論文レビュー] FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization

Jiawei Yang, Marco Pavone+1 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Vision and Imaging被引用数 7

ひとこと要約

FreeNeRFは、入力周波数制御と近カメラ密度正則化を通じて訓練を安定化させることで、少量の入力におけるNeRFのニューラルレンダリングを著しく改善するシンプルだが効果的な周波数正則化技術を導入する。わずか1行のコード変更で、追加の計算や外部の教師信号なしに、Blender、DTU、LLFFの各データセットで最先端の性能を達成する。

ABSTRACT

Novel view synthesis with sparse inputs is a challenging problem for neural radiance fields (NeRF). Recent efforts alleviate this challenge by introducing external supervision, such as pre-trained models and extra depth signals, and by non-trivial patch-based rendering. In this paper, we present Frequency regularized NeRF (FreeNeRF), a surprisingly simple baseline that outperforms previous methods with minimal modifications to the plain NeRF. We analyze the key challenges in few-shot neural rendering and find that frequency plays an important role in NeRF's training. Based on the analysis, we propose two regularization terms. One is to regularize the frequency range of NeRF's inputs, while the other is to penalize the near-camera density fields. Both techniques are ``free lunches'' at no additional computational cost. We demonstrate that even with one line of code change, the original NeRF can achieve similar performance as other complicated methods in the few-shot setting. FreeNeRF achieves state-of-the-art performance across diverse datasets, including Blender, DTU, and LLFF. We hope this simple baseline will motivate a rethinking of the fundamental role of frequency in NeRF's training under the low-data regime and beyond.

研究の動機と目的

• 限られた教師信号のもとで新規ビュー合成を実現するニューラルレイトランスフィールド（NeRF）における課題に取り組む。標準NeRFは、限られた教師信号のため過学習を起こす。
• 少量学習におけるNeRF訓練の失敗の根本原因を特定する。特に、位置符号化における高周波成分の役割を調査する。
• 複雑な最先端手法を凌駕する、最小限の依存関係とオーバーヘッドのないベースラインを構築する。
• 周波数および遮蔽正則化が、追加の計算コストなしに一般化性能を向上させ、『フラーター』と呼ばれるアーチファクトを低減できることを示す。

提案手法

• 初期学習段階で位置符号化内の高周波成分を抑制する周波数正則化項を導入し、最適化の安定化と深刻な過学習の防止を実現する。
• カリキュラムスケジュールを採用し、周波数正則化を学習全体の一部（例：全イテレーションの90％）にわたり段階的に無効化する。この期間はデータセットごとに最適化される。
• カメラに近い領域の密度値をペナルティ化する遮蔽正則化項を提案し、スパースビューにおける誤った深度推定に起因する『フラーター』アーチファクトを低減する。
• 単純なテンソルマスクを用いて正則化を実装する。訓練中に特定の位置符号化次元をゼロに設定することで、1行のコード変更で実現可能である。
• 位置符号化埋め込みに対して学習可能なマスクを導入する（例：`pos_enc[int(t/T*L)+3:] = 0`）ことで、訓練中に周波数範囲を動的に制御する。
• 追加のレンダリングや教師信号なしに両正則化を組み合わせ、元のNeRFアーキテクチャと学習パイプラインを維持しつつ、最小限の変更で実装する。

Figure 2 : Masking high-frequency inputs helps few-shot neural rendering. We investigate how NeRF performs with positional encodings under different masking ratios on the DTU dataset using 3 input views. Despite its over-smoothness, the plain NeRF succeeds in the few-shot setting when only low-frequ

実験結果

リサーチクエスチョン

• RQ1 標準NeRFが少量学習環境で失敗する理由は何か？ 位置符号化の周波数コンテンツがその失敗に果たす役割は？
• RQ2 周波数制御に基づくシンプルで軽量な正則化技術が、外部教師信号なしに低データ環境下でのNeRF性能を向上させられるか？
• RQ3 近カメラ密度正則化は、スパースビューNeRF学習におけるアーチファクト（例：『フラーター』）低減にどのように寄与するか？
• RQ4 1行のコード変更といった最小限の修正が、複雑なマルチステージパイプラインに比べて、どれほど最先端の性能を達成できるか？
• RQ5 周波数正則化はBlender、DTU、LLFFといった多様なデータセットに一般化可能か？ また、PSNRとLPIPSのトレードオフにどのように影響を与えるか？

主な発見

• FreeNeRFは、DTU-3およびLLFF-3ベンチマークで最先端の性能を達成し、それぞれPSNRが19.81および19.70に達する。外部教師信号や追加計算なしに、先行手法を上回る。
• 90％の周波数正則化スケジュールが、全データセットで最良の結果をもたらし、周波数抑制のカリキュラムが訓練の安定性と一般化性能を向上させることを示した。
• 遮蔽正則化は一貫して性能向上をもたらし、DTU-3では、正則化なし（w/o）のPSNR17.40から、正則化あり（with）で19.81に向上。カメラ付近の『フラーター』アーチファクトも低減された。
• この手法は依存関係およびオーバーヘッドがゼロである。事前学習モデルや深度教師信号、追加のパッチレンダリングを一切不要とし、実世界への実装に実用的である。
• アブレーションスタディの結果、近傍境界の調整は、提案された遮蔽正則化に比べてほとんど効果がなく、問題領域の密度を能動的にペナルティ化する正則化が有効であることが示された。
• 高いPSNRを達成しても、周波数正則化の継続時間が長くなるとLPIPSスコアが低下する傾向にあり、忠実度と視覚的品質のトレードオフが生じる。これは微調整により緩和可能である。

Figure 3 : Illustration of occlusion regularization. We show 3 training views (solid rectangles) and 2 novel views (dashed rectangles) rendered by a frequency-regularized NeRF. The floaters in the novel views appear to be near-camera dense fields in the training views (dashed circles) so that we can