[論文レビュー] NeROIC: Neural Rendering of Objects from Online Image Collections

Zhengfei Kuang, Kyle Olszewski+4 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Vision and Imaging被引用数 12

ひとこと要約

NeROICは、粗い前景マスクと推定されたカメラポーズのみを用いて、非構造的なオンライン画像コレクションから高精度な3D幾何、材質、照明を再構築するモジュラーなニューラルレンダリングフレームワークを提案する。NeRFを拡張し、頑健な幾何最適化、法線推定、球面調和関数に基づくリライトを組み合わせることで、多様な照明や背景条件下でも新規ビュー合成、リライト、合成レンダリングを可能にした。制御された撮影環境がなく、現実世界の複雑なデータセットにおいても最先端の結果を達成した。

ABSTRACT

We present a novel method to acquire object representations from online image collections, capturing high-quality geometry and material properties of arbitrary objects from photographs with varying cameras, illumination, and backgrounds. This enables various object-centric rendering applications such as novel-view synthesis, relighting, and harmonized background composition from challenging in-the-wild input. Using a multi-stage approach extending neural radiance fields, we first infer the surface geometry and refine the coarsely estimated initial camera parameters, while leveraging coarse foreground object masks to improve the training efficiency and geometry quality. We also introduce a robust normal estimation technique which eliminates the effect of geometric noise while retaining crucial details. Lastly, we extract surface material properties and ambient illumination, represented in spherical harmonics with extensions that handle transient elements, e.g. sharp shadows. The union of these components results in a highly modular and efficient object acquisition framework. Extensive evaluations and comparisons demonstrate the advantages of our approach in capturing high-quality geometry and appearance properties useful for rendering applications.

研究の動機と目的

• 制御された撮影データが入手できない非構造的かつ現実世界のオンライン画像コレクションから、高品質な3Dオブジェクト再構築を可能にすること。
• 実際の画像コレクションに見られる変動するカメラポーズ、照明、背景、オブジェクトの外観といった課題に対処すること。
• 幾何、材質、照明を分離するモジュラーなニューラルレンダリングパイプラインを構築し、柔軟なレンダリング応用を可能にすること。
• 校正済みマルチビューデータを必要とせずに、正確な新規ビュー合成、リライト、調和的な背景合成を達成すること。

提案手法

• 粗い前景マスクを用いて幾何とカメラパラメータを最適化する多段階NeRFベースのフレームワークを採用する。
• 幾何的ノイズを低減しつつ細部を保持する、頑健な法線推定技術を導入する。
• ニューラルレンダリングパイプラインを用いて、アルベド、法線、スペキュラリティ、グロスネスマップに表面反射を分解する。
• 球面調和関数を用いて照明を表現し、シャープな影などの一時的効果をモデル化する拡張を施す。
• 一時的効果（影やスペキュラーな輝き）を扱うために、一時的埋め込みモジュールを採用する。
• 幾何、材質、照明の各コンponentを統合したレンダリングシステムを構築し、新規ビュー合成とリライトを実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルレンダリング手法は、最小限の監視のもとで、非構造的かつ現実世界の画像コレクションから正確な3D幾何と外観を再構築できるか？
• RQ2 初期のカメラポーズに誤差やノイズがある場合、幾何とカメラパラメータを効果的に最適化できるか？
• RQ3 材質と照明コンponentは、多様な照明や背景条件下でもどれほど分離可能で一貫性を持ってレンダリングできるか？
• RQ4 入力画像の照明や背景が大きく異なる場合でも、モデルは新規ビュー、リライト、合成シーンに一般化できるか？

主な発見

• 完全なNeROICモデルは、Δt=0.1、Δr=10°のカメラ摂動条件下でPSNRが24.74、FMSEが0.00029を達成し、カメラ最適化なしのモデルを上回った。
• Δr=20°の条件下でも、PSNRが20.38、FMSEが0.00860を維持し、高いポーズ誤差に耐性があることを示した。
• カメラ最適化なしのモデルはΔr=10°で3つのシーンのうち1つで収束しなかったが、完全なモデルは全3シーンで収束した。これによりカメラの最適化の重要性が浮き彫りになった。
• アブレーションスタディの結果、一時的埋め込みがレンダリング品質を向上させ、不完全なマスクを用いた場合のMMSEがベースラインより低くなった。
• 入力画像の背景や照明が著しく異なる場合でも、モデルは自然な照明と影を伴う新しい環境にオブジェクトを合成するのに成功した。
• 失敗事例では、アンビエントオクルージョンが材質特性として誤分類されることが判明し、今後の研究でより良い分離技術の開発が求められる。