[論文レビュー] Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama

Ching-Yu Hsu, Cheng Sun+1 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Vision and Imaging被引用数 11

ひとこと要約

本論文では、神経放射場を用いて、1枚の360° RGB-Dパノラマから視差を考慮した新しいパノラマビューを合成する最初の手法であるOmniNeRFを提案する。仮想カメラ位置における3次元と2次元パノラマ座標の間を前後反復して投影することで、訓練データを拡張し、カメラパラメータを必要とせずに自由視点レンダリングを可能にした。合成データおよび実世界のデータセットにおいて、Matterport3DではPSNRが最大33.94に達する高精細な結果を達成した。

ABSTRACT

We present Omnidirectional Neural Radiance Fields (OmniNeRF), the first method to the application of parallax-enabled novel panoramic view synthesis. Recent works for novel view synthesis focus on perspective images with limited field-of-view and require sufficient pictures captured in a specific condition. Conversely, OmniNeRF can generate panorama images for unknown viewpoints given a single equirectangular image as training data. To this end, we propose to augment the single RGB-D panorama by projecting back and forth between a 3D world and different 2D panoramic coordinates at different virtual camera positions. By doing so, we are able to optimize an Omnidirectional Neural Radiance Field with visible pixels collecting from omnidirectional viewing angles at a fixed center for the estimation of new viewing angles from varying camera positions. As a result, the proposed OmniNeRF achieves convincing renderings of novel panoramic views that exhibit the parallax effect. We showcase the effectiveness of each of our proposals on both synthetic and real-world datasets.

研究の動機と目的

• 従来のマルチビュー手法の制限を克服し、1枚の360° RGB-Dパノラマから視差効果を考慮した新しいパノラマビュー合成を可能にすること。
• カメラパラメータを必要とせず、深度情報を有する1枚のオムニディレクショナル入力から複数の画像やカメラパラメータを必要としないこと。
• 1枚の入力からの訓練データの不足に応じて、3次元から2次元への再投影を用いて合成マルチビュー訓練サンプルを生成することで、課題に取り組むこと。
• 勾配ベースの監視と再投影ビューにおける不完全または遮蔽された領域の堅牢な処理を用いて、レンダリング品質を向上させること。
• 暗黙の神経場を用いて1枚のパノラマ画像から完全な3次元シーン表現を学習する可能性を示すこと。

提案手法

• カメラ中心を仮想位置に移動させ、3次元点を再投影することで、1枚のRGB-Dパノラマを合成訓練ビューに拡張する。
• 5次元座標（x,y,z,θ,ϕ）から色と密度への連続関数としてシーンを表現するための多層パーセプトロン（MLP）を用い、自由視点レンダリングを可能にする。
• 深度マップと中心からの単位ベクトルを用いて2次元画像座標を3次元に変換し、カメラパラメータ推定を必要とせずに一貫性のあるレイトレーシングを実現する。
• 欠損ピクセル（遮蔽や解像度制限によるもの）を処理しながら、複数の視点を模倣するため、3次元から2次元および2次元から3次元への前後反復投影を適用する。
• ピクセルベースのNeRF表現を活用し、訓練中に有効で可視のピクセルのみに注目することで、不完全な投影によるアーティファクトを低減する。
• 合成パノラマにおける構造的一致性と微細なディテールの向上を図るため、補助的な勾配損失を導入する。

実験結果

リサーチクエスチョン

• RQ1 1枚の360° RGB-Dパノラマを用いて、現実的な視差効果を考慮した新しいパノラマビューを合成できるか？
• RQ2 1枚の入力パノラマから、神経放射場学習に耐性のある訓練データを効果的に拡張する方法は何か？
• RQ3 1枚のパノラマで訓練された神経放射場が、複雑なシーンにおける新しいカメラ位置にどの程度一般化できるか？
• RQ4 勾配ベースの監視は、合成パノラマビューの忠実性と構造的正確性を向上させるか？
• RQ5 OmniNeRFは、カメラパラメータや複数の入力画像を必要とせずに、写真同等のレンダリングを達成できるか？

主な発見

• OmniNeRFは、同じ1枚の入力で訓練されたベースラインNeRFモデル（22.459）に対して、構造的3DデータセットでPSNR 33.147を達成し、顕著に優れた性能を示した。
• Matterport3Dデータセットでは、勾配監視を用いたOmniNeRFがPSNR 33.943を達成した一方で、ベースラインNeRFは17.269にとどまり、実際の屋内シーンにおける強力な一般化能力を示した。
• 屋外のGoogleストリートビュー・データセットでは、勾配損失を用いたOmniNeRFがPSNR 33.766を達成し、複雑な屋外環境でも優れた性能を示した。
• 勾配損失の導入により、SSIMが向上し、LPIPSが低下した。これは、合成ビューにおける構造的一致性と知覚的品質の向上を示している。
• 定性的な結果では、OmniNeRFが複雑な幾何構造を有するシーンでも、水平方向のパスに沿った妥当な新しいビューを生成できることを示したが、極度に遮蔽されたり不規則な構造がある場面では性能が低下した。
• 補足動画で示されたように、1枚のパノラマからフライスルーパーのようなレンダリングが可能であり、インマージョン型360°シーン探索の能力を確認した。