[論文レビュー] Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior

James Gardner, Bernhard Egger+1 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、1.6K枚のHDR環境マップから自然な照明の事前分布を学習する回転等長性を有する条件付き球面ニューラルフィールド、RENIを提案する。SIRENに基づくニューラルフィールドとベクトルニューロンを統合し、SO(2)回転等長性を強制することで、高精細で高ダイナミックレンジな照明マップを生成し、最先端の一般化性能を実現する環境再構築および逆レンダリングを可能にする。

ABSTRACT

Inverse rendering is an ill-posed problem. Previous work has sought to resolve this by focussing on priors for object or scene shape or appearance. In this work, we instead focus on a prior for natural illuminations. Current methods rely on spherical harmonic lighting or other generic representations and, at best, a simplistic prior on the parameters. We propose a conditional neural field representation based on a variational auto-decoder with a SIREN network and, extending Vector Neurons, build equivariance directly into the network. Using this, we develop a rotation-equivariant, high dynamic range (HDR) neural illumination model that is compact and able to express complex, high-frequency features of natural environment maps. Training our model on a curated dataset of 1.6K HDR environment maps of natural scenes, we compare it against traditional representations, demonstrate its applicability for an inverse rendering task and show environment map completion from partial observations. A PyTorch implementation, our dataset and trained models can be found at jadgardner.github.io/RENI.

研究の動機と目的

• 逆レンダリングにおける自然な照明の統計的事前分布の欠如が、不適切な解を生じさせることを是正する。
• 現実世界の照明の規則性を捉えることのできる、コンactで表現力があり、回転等長性を持つ高ダイナミックレンジ（HDR）環境マップの表現を開発する。
• 妥当な自然な照明の事前分布を学習することで、環境マップの再構築および逆レンダリングのロバスト性を向上させる。
• 球面調和関数（SH）や球面ガウス分布（SG）といった従来の表現方法の限界を克服する。これらは表現力に欠け、複雑で高周波数の照明をモデル化できない。

提案手法

• 本手法は、潜在空間を環境マップの分布としてモデル化するため、変分自己符号化器を備えたSIRENネットワークに基づく条件付きニューラルフィールドアーキテクチャを採用する。
• 垂直軸（y軸）まわりの潜在コードの回転を用いて、ベクトルニューロンを拡張し、SO(2)回転等長性を強制する。これにより、入力の回転が出力の同等の回転として反映される。
• ネットワークは、等角投影による球面信号表現を用い、方向性の照明情報を符号化する3×Nの潜在コードで条件づけられる。
• グラム行列層により、潜在コードの不変表現が計算され、回転不変な比較および損失計算が可能になる。
• トレーニングデータセットは、自然なシーンの1.6K枚の選別済みHDR環境マップから構成され、一般化性能向上のため、ランダムな回転によるデータ拡張が施されている。
• モデルは、入力環境マップの正確な再構成と、回転下での一貫性のある潜在空間表現を促進する再構成損失を用いてトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルフィールドモデルは、トレーニング分布を超えて一般化可能な、コンactで表現力があり、回転等長性を持つ自然なHDR環境マップの事前分布を学習できるか？
• RQ2 提案された回転等長性を持つ球面ニューラルフィールドは、球面調和関数（SH）や球面ガウス分布（SG）といった従来の表現と比較して、逆レンダリングおよび環境マップ再構築においてどの程度優れているか？
• RQ3 学習された事前分布は、主な上向き照明や空の色制約といった、現実世界の照明の統計的規則性や高周波数の照明特徴をどの程度捉えているか？
• RQ4 モデルの潜在空間は、回転変換下でも一貫した再構成を可能にする、分離可能で解釈可能な照明表現をサポートするか？

主な発見

• RENIは、ランダムな潜在コードからのサンプリングによって、現実的で高ダイナミックレンジな環境マップを生成し、モデルが一貫した自然な照明事前分布を学習できることを示している。
• 回転された環境マップペアの再構成において、相対誤差が2.0%未満に抑えられ、21組中18組の画像ペアで強いSO(2)回転等長性が確認された。
• RENIは、パrameter数を減らしながらも、従来の球面調和関数や球面ガウス分布を上回り、高周波数の照明特徴をよりよく捉えている。
• 部分的な観測からの環境マップ再構築においても、欠損データに対してロバストで、未観測のシーンへの一般化性能を示している。
• 強力な事前分布を持つにもかかわらず、RENIは屋内シーンに対しても妥当な一般化性能を示しているが、屋外シーンに比べて性能が低下する傾向にある（ドメインシフトの影響）。
• 潜在空間には一部で冗長性が見られ、同じ環境を複数の異なる潜在コードで表現できることが示唆されており、正則化や次元数の最適化の余地がある。