[論文レビュー] Is Attention All That NeRF Needs?

Mukund Varma T, Peihao Wang+4 more|arXiv (Cornell University)|Jul 27, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、明示的なレンダリング式を用いずにNeural Radiance Fieldsを再構築し、新規ビューをレンダリングできるトランスフォーマー基盤アーキテクチャであるGeneralizable NeRF Transformer (GNT)を提案する。視点トランスフォーマーを用いて幾何的特徴の集約を行い、光線トランスフォーマーを用いてアテンションベースのレンダリングを実現することで、未学習のシーンにおいても最先端の性能を達成し、クロスシーン一般化性能において平均で約10%の向上を達成する。また、アテンション機構を通じて物理的に妥当な深度と隠蔽認識を学習する。

ABSTRACT

We present Generalizable NeRF Transformer (GNT), a transformer-based architecture that reconstructs Neural Radiance Fields (NeRFs) and learns to renders novel views on the fly from source views. While prior works on NeRFs optimize a scene representation by inverting a handcrafted rendering equation, GNT achieves neural representation and rendering that generalizes across scenes using transformers at two stages. (1) The view transformer leverages multi-view geometry as an inductive bias for attention-based scene representation, and predicts coordinate-aligned features by aggregating information from epipolar lines on the neighboring views. (2) The ray transformer renders novel views using attention to decode the features from the view transformer along the sampled points during ray marching. Our experiments demonstrate that when optimized on a single scene, GNT can successfully reconstruct NeRF without an explicit rendering formula due to the learned ray renderer. When trained on multiple scenes, GNT consistently achieves state-of-the-art performance when transferring to unseen scenes and outperform all other methods by ~10% on average. Our analysis of the learned attention maps to infer depth and occlusion indicate that attention enables learning a physically-grounded rendering. Our results show the promise of transformers as a universal modeling tool for graphics. Please refer to our project page for video results: https://vita-group.github.io/GNT/.

研究の動機と目的

• NeRFのシーン固有最適化の制限とシーン間での一般化性能の低さを解消し、転送可能でエンドツーエンドの新規ビュー合成を可能にする。
• NeRFにおける手作業で設計されたボリュームレンダリング式を、学習可能でアテンションベースのレンダリング機構に置き換える。
• トランスフォーマーが3次元シーン表現およびレンダリングのための汎用的で微分可能関数として機能できるかを検証する。
• GNTにおけるアテンション機構が、明示的な監視や幾何的事前知識なしに、深度や隠蔽の手がかりを暗黙的に学習するかを分析する。
• アテンションベースの学習を用いる場合、明示的な3次元幾何や固定レンダリング式といったインダクティブバイアスはもはや必要でないことを示す。

提案手法

• 視点トランスフォーマーは、エピポール幾何をインダクティブバイアスとして用い、エピポール線上のピクセルに注目することで、座標に整合した特徴を予測する。
• 視点トランスフォーマーは、U-Netバックボーンを用いて多スケール特徴を抽出し、その後、自己アテンションを用いたクロスビュー特徴マッチングを実行するトランスフォーマー変換器エンコーダーを適用する。
• 光線トランスフォーマーは、トレースされた光線に沿って座標に整合した特徴をデコードし、固定レンダリング式なしに新規ビューの色を学習する。
• 光線トランスフォーマーは光線に沿う点に注目し、アテンション重みが可視性と深度を暗黙的にモデル化することで、シーンに適応したレンダリングを可能にする。
• モデルはソースビュー上でエンドツーエンドに訓練され、未学習のシーンにおけるゼロショット推論が可能で、シーン固有の微調整は不要である。
• アーキテクチャは完全に微分可能であり、明示的な幾何的監視なしに標準的なバックプロパゲーションによる最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、レンダリング品質を維持または向上させつつ、NeRFにおける明示的なボリュームレンダリング式を置き換えられるか？
• RQ2 アテンション機構は、明示的な監視や幾何的事前知識なしに、どの程度深度や隠蔽の認識を学習できるか？
• RQ3 1つのGNTモデルが再訓練や微調整なしに、多様で未学習のシーンに一般化できるか？
• RQ4 アテンション機構は、反射や影といった物理現象のモデル化において、従来のコストボリュームや特徴集約手法と比較してどのように異なるか？
• RQ5 視点トランスフォーマーにおけるエピポール幾何をインダクティブバイアスとして用いることで、幾何に依存しない手法と比較して、特徴の整合性と一般化性能が向上するか？

主な発見

• GNTはクロスシーン一般化性能において最先端の性能を達成し、複数のベンチマークで、すべての先行手法を平均して約10%の向上で上回った。
• LLFFデータセットでは、PSNRが0.963、SSIMが0.846、LPIPSが0.055を達成し、NeRFや他のSOTA手法を上回った。
• 光線トランスフォーマーのアテンションマップは、深度と隠蔽と強く相関しており、GNTが暗黙的に物理的に妥当なレンダリングを学習していることが示された。
• 定性的な結果から、GNTは明示的な光輸送モデルなしでも、反射や影といった複雑な照明効果をモデル化できることを示した。
• モデルは、複雑な幾何や外観を持つ未学習のシーンに対しても、シーン固有の適応なしに良好に一般化した。
• 強力な性能を発揮しているが、エピポール対応が欠落する境界画素ではわずかなアーティファクトが生じており、エッジケースの処理における限界を示している。