[論文レビュー] NPBG++: Accelerating Neural Point-Based Graphics

Ruslan Rakhimov, Andrei-Timotei Ardelean+2 more|arXiv (Cornell University)|Mar 24, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

NPBG++ は、入力画像を一回の順方向伝搬で3次元点群の視点依存ニューラル記述子を予測することで、1シーンあたりの最適化を排除し、新規視点合成を高速化する。リアルタイムレンダリングを実現し、高画質を維持しながら、従来手法に比べて適合時間とレンダリング速度で優れる（DTUスキャンではLPIPS ↓ 0.154）。

ABSTRACT

We present a new system (NPBG++) for the novel view synthesis (NVS) task that achieves high rendering realism with low scene fitting time. Our method efficiently leverages the multiview observations and the point cloud of a static scene to predict a neural descriptor for each point, improving upon the pipeline of Neural Point-Based Graphics in several important ways. By predicting the descriptors with a single pass through the source images, we lift the requirement of per-scene optimization while also making the neural descriptors view-dependent and more suitable for scenes with strong non-Lambertian effects. In our comparisons, the proposed system outperforms previous NVS approaches in terms of fitting and rendering runtimes while producing images of similar quality.

研究の動機と目的

• 1シーンあたりの最適化を必要とする従来の神経点ベースグラフィックス手法の長時間にわたる適合時間の問題を解決すること。
• スパarsな入力画像と点群から高品質な新規視点をリアルタイムでレンダリングすること。
• 視点依存の外観をモデル化することで、非ラムベールト的表面のレンダリング品質を向上させること。
• 点群のスパarsity、ノイズ、入力視点数の制限といった幾何的不完全要因への感受性を低減すること。
• 軽量な2次元アライメント段階を導入することで、レンダリングパイプラインにおける回転等長性を確保すること。

提案手法

• すべての入力画像を一回の順方向伝搬で通過させ、各3次元点のニューラル記述子を予測し、1シーンあたりの最適化を回避する。
• オンラインで置換不変な集約手法を採用し、定数メモリで複数視点からの特徴を統合するオンライン線形回帰を用いる。
• 各点の記述子に対して、基本関数係数（例：m=6のMLP）を学習することで視点依存外観をモデル化する。
• 入力画像と出力レンダリングの両方のための2つの軽量な2次元アライメント段階を導入し、平面内回転ずれを補正する。
• U-Netベースのレンダラを用い、学習済みの記述子を用いたマルチスケールラスタライゼーションを実行する。
• 球面調和関数とMLPベースの基本関数を記述子表現に用い、消去実験でMLP（m=6）が最良の結果を示した。

実験結果

リサーチクエスチョン

• RQ1 1シーンあたりの最適化を排除しつつ、高品質なレンダリングを維持できるか？
• RQ2 適合時間の増加を伴わず、ポイントベースのニューラルレンダリングで効率的に視点依存外観をモデル化できるか？
• RQ3 入力および出力画像のアライメントは、神経点ベースレンダリングパイプラインの性能向上にどの程度寄与するか？
• RQ4 点群のスパarsity、ノイズ、少数視点といった幾何的不完全要因に対して、システムはどの程度頑健か？
• RQ5 軽量な2次元アライメント段階は、記述子ベースレンダリングにおける回転等長性を効果的に回復できるか？

主な発見

• NPBG++ は 'hotdog' シーンで1枚あたり1.2秒のレンダータイム（適合時間＋レンダリング時間）を達成し、NPBG や IBRNet よりも顕著に高速である。
• 入力および出力画像の両方のアライメントを適用した場合、NPBG++ はDTUスキャンでLPIPS ↓ 0.154を達成し、アライメント済みのNPBG（LPIPS ↓ 0.125）を上回る性能を示した。
• MLPベースの集約法（m=6の基本関数）が最良の結果をもたらした：ScanNetシーンではPSNR ↑ 23.11、SSIM ↑ 0.766、LPIPS ↓ 0.501。
• 幾何的不完全要因に対しては滑らかな劣化を示した：点群のスパarsityが50％でも80％以上のピクセルが埋められ、ノイズや少数視点の状況でも安定に動作した。
• 消去実験から、入力または出力の一方のアライメントのみを用いると性能が低下することが確認され、分布アライメントのためには両方のアライメントが必要であることが示された。
• 提案されたオンライン集約法により、任意の数の視点から得られる特徴を効率的かつ定数メモリで統合でき、スケーラブルで視点依存の記述子学習を可能にした。