[論文レビュー] End-to-end View Synthesis via NeRF Attention

Zelin Zhao, Jiaya Jia|arXiv (Cornell University)|Jul 29, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、変換器を用いて、体積レンダリングをソフトな特徴調制としてモデル化し、レンダリングのシーケンスからシーケンスへのタスクに再定式化することで、新規ビュー合成をエンドツーエンドで行うフレームワークNeRF Attention (NeRFA) を提案する。マルチステージのレイおよびピクセル変換器を採用することで、NeRF や NerFormer と比較して、高周波数のディテール回復性能と計算効率の両面で顕著な向上を達成し、4つのベンチマークで最先端の性能を実現した。

ABSTRACT

In this paper, we present a simple seq2seq formulation for view synthesis where we take a set of ray points as input and output colors corresponding to the rays. Directly applying a standard transformer on this seq2seq formulation has two limitations. First, the standard attention cannot successfully fit the volumetric rendering procedure, and therefore high-frequency components are missing in the synthesized views. Second, applying global attention to all rays and pixels is extremely inefficient. Inspired by the neural radiance field (NeRF), we propose the NeRF attention (NeRFA) to address the above problems. On the one hand, NeRFA considers the volumetric rendering equation as a soft feature modulation procedure. In this way, the feature modulation enhances the transformers with the NeRF-like inductive bias. On the other hand, NeRFA performs multi-stage attention to reduce the computational overhead. Furthermore, the NeRFA model adopts the ray and pixel transformers to learn the interactions between rays and pixels. NeRFA demonstrates superior performance over NeRF and NerFormer on four datasets: DeepVoxels, Blender, LLFF, and CO3D. Besides, NeRFA establishes a new state-of-the-art under two settings: the single-scene view synthesis and the category-centric novel view synthesis.

研究の動機と目的

• 標準の変換器がビュー合成において、特に高周波数ディテールの回復が不十分で、計算コストが高いという限界を解消すること。
• 明示的な3次元密度および色の予測を伴わずに、ニューラルレイトランスフィールド（NeRF）のインダクティブバイアスを変換器アーキテクチャに統合すること。
• 計算オーバーヘッドを低減しつつ、細粒度のシーンディテールを保持する効率的なアテンションメカニズムを設計すること。
• 単一シーンおよびカテゴリセントリックな設定の両方で、NeRF や NerFormer を上回る、完全なアテンションソリューションを確立すること。
• 明示的な3次元ジオメトリーやレンダリングパイプラインを必要とせず、レイポイントからピクセルカラーへのエンドツーエンドの学習を可能にすること。

提案手法

• 体積レンダリングプロセスをソフトな特徴調制手順としてモデル化し、NeRF のインダクティブバイアスをアテンションメカニズムに埋め込む変換器ベースのアーキテクチャ、NeRF Attention (NeRFA) を提案する。
• 2ストリームアテンション機構を導入：レイ変換器はレイポイント特徴を処理し、ピクセル変換器はピクセル間の依存関係をモデル化することで空間的整合性を向上させる。
• 全レイおよび全ピクセルに対するグローバルアテンションと比較して計算コストを低減するため、レイおよびピクセルのアテンションヘッドを別々に用いたマルチステージアテンションを採用する。
• 標準の自己アテンションを、位置埋め込みを用いて特徴を調制する特徴調制層に置き換え、明示的な密度および色の予測を伴わずに NeRF のボリュームレンダリングを模倣する。
• 入力がレイポイントの集合で出力が対応するピクセルカラーであるシーケンスからシーケンスの定式化を採用し、エンドツーエンド学習を可能にする。
• 空間構造を保持し、アテンションが幾何的関係を学習できるように、レイポイントおよびピクセルに位置埋め込みを適用する。

実験結果

リサーチクエスチョン

• RQ1 標準の変換器は、ビュー合成におけるボリュームレンダリングプロセスを効果的にモデル化できるか、それとも高周波数ディテール回復に必要なインダクティブバイアスを欠いているのか？
• RQ2 全レイおよび全ピクセルに対するグローバル自己アテンションの計算コストを、レンダリング品質を損なわずどのように低減できるか？
• RQ3 NeRF のインダクティブバイアスを、変換器ベースのアテンションメカニズムに効果的に統合できるか？
• RQ4 完全なアテンションエンドツーエンドフレームワークは、明示的なNeRFスタイルのレンダリングパイプラインやハイブリッドアーキテクチャを保持するモデルを上回る性能を発揮するか？
• RQ5 統一されたアテンションベースのモデルは、単一シーンおよびカテゴリセントリックなビュー合成ベンチマークの両方で汎用性を示せるか？

主な発見

• DeepVoxels データセットでは、NeRFA は 40.30 の PSNR を達成し、ヴァニラ変換器（23.42）を著しく上回り、PSNR および SSIM において NeRF や NerFormer をも上回った。
• Blender データセットでは、NeRFA は 33.17 の PSNR および 0.941 の SSIM を達成し、特にシャープなエッジやテクスチャの部分で、NeRF や NerFormer よりも優れたディテール保持性能を示した。
• LLFF データセットでは、NeRFA は 28.15 の PSNR および 0.833 の SSIM を達成し、複雑な照明条件やジオメトリを伴う実世界のシーンにおいても高いロバストネスを示した。
• アブレーションスタディの結果、特徴調制（FM）が高周波数ディテール回復に不可欠であることが確認された。FM を除去すると、DeepVoxels で PSNR が15ポイント以上低下した。
• レイ変換器（RT）とピクセル変換器（PT）の両方が寄与していることが示された：Blender で RT を除去すると PSNR が10.5ポイント低下し、DeepVoxels で PT を除去すると 3.5ポイント低下した。
• CO3D におけるカテゴリセントリックな新規ビュー合成において、NeRFA は NerFormer や NeRF-WCE を上回り、特に未学習の動画や挑戦的なターゲットビューにおいて新たな最先端性能を確立した。