[論文レビュー] Enhancement of Novel View Synthesis Using Omnidirectional Image Completion

Takayuki Hara, Tatsuya Harada|arXiv (Cornell University)|Mar 18, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、再投影された視点における隠蔽領域や低解像度領域を埋めるために自己教師付き360°画像補完ネットワークを活用することで、1枚の360° RGB-D画像から高品質な新規視点合成を実現する新規な手法を提案する。再投影された視点に対して、重複を最小限に抑えるように選択された完成画像のサブセットを、焼きなまし法を用いた最大重み独立集合の定式化により選別することで、3次元的一致性が向上し、実データおよび合成データの両方のデータセットにおいて、OmniNeRFなどの先行研究を上回る定性的・定量的評価結果を達成する。

ABSTRACT

In this study, we present a method for synthesizing novel views from a single 360-degree RGB-D image based on the neural radiance field (NeRF) . Prior studies relied on the neighborhood interpolation capability of multi-layer perceptrons to complete missing regions caused by occlusion and zooming, which leads to artifacts. In the method proposed in this study, the input image is reprojected to 360-degree RGB images at other camera positions, the missing regions of the reprojected images are completed by a 2D image generative model, and the completed images are utilized to train the NeRF. Because multiple completed images contain inconsistencies in 3D, we introduce a method to learn the NeRF model using a subset of completed images that cover the target scene with less overlap of completed regions. The selection of such a subset of images can be attributed to the maximum weight independent set problem, which is solved through simulated annealing. Experiments demonstrated that the proposed method can synthesize plausible novel views while preserving the features of the scene for both artificial and real-world data.

研究の動機と目的

• 1枚の360° RGB-D画像からの高品質な新規視点合成の課題に対処すること。
• 隠蔽領域におけるアーチファクトやぼやけを解消すること。これは、既存の単一画像NeRF手法が、隠蔽領域の補間にMLPの近傍補間に依存していることに起因する。
• 複数の再投影画像における完成領域の重複を最小限に抑えることで、合成視点間の3次元的一致性を向上させること。
• 幾何学的不一致を低減するように、シーンをカバーする完成画像の選択されたサブセットを用いてNeRFを訓練できること。
• 合成データおよび実世界データの両方において、自己教師付き360°画像補完とNeRF訓練を組み合わせた手法の有効性を示すこと。

提案手法

• 複数の仮想カメラ位置から入力の360° RGB-D画像を再投影し、新規視点を模倣する360°画像を生成する。
• 視点シフトに伴う隠蔽や解像度の変化を模倣するように訓練された自己教師付き360°画像補完ネットワークを適用し、再投影画像の欠損領域を埋める。
• 訓練画像の選択を、完成領域の重複を最小限に抑える最大重み独立集合問題として定式化し、3次元的一致性を向上させる。
• 焼きなまし法を用いて最大重み独立集合問題を解き、NeRF訓練に最適な完成画像サブセットを特定する。
• 選択された完成画像サブセットに限定してNeRFモデルを訓練することで、幾何学的整合性を確保し、アーチファクトを低減する。
• 訓練されたNeRFを用いて、シーンの詳細を保持し、高精細なフォトレアリスティックな新規視点を合成する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き360°画像補完は、1枚の360° RGB-D画像からの新規視点合成の品質を向上させることができるか？
• RQ2 重複を最小限に抑えた完成画像のサブセット選択は、NeRFベースの新規視点合成における3次元的一致性を向上させるか？
• RQ3 実データおよび合成データにおいて、本手法はOmniNeRFと比較して、画像品質およびアーチファクト低減の点で優れているか？
• RQ4 画像補完ネットワークは、新規視点における隠蔽や解像度の変化をどれほど一般化して処理できるか？
• RQ5 本手法は、反復的リファインメントや追加のトレーニングループを必要とせず、任意のNeRFモデルに適用可能か？

主な発見

• 本手法は、Structure3DおよびMatterport3Dの両データセットにおいて、OmniNeRFをすべての評価指標で上回り、優れた画像品質とアーチファクトの低減を示した。
• アブレーションスタディの結果、画像選択がLPIPSおよびNLLスコアの向上に寄与することが確認され、特にMatterport3Dデータセットにおいて、意味的類似性と画像の妥当性が向上した。
• 画像選択が行われない場合、重複する完成領域に起因する3次元的一致性の欠如により、NeRFモデルはぼやけた画像を生成し、知覚的品質および尤度指標が低下した。
• 評価ポイントが入力画像から離れている場合、本手法はOmniNeRFよりも高いPSNRおよびSSIMを達成した。これは、非選択設定におけるぼやけの耐性に起因する。
• 画像補完ネットワークは、未学習のシーンに対しても良好に一般化され、さまざまな視点条件下でも隠蔽領域の妥当な補完を可能にした。
• 本手法は合成データ（Structure3D）および実世界データ（Matterport3D）の両方で有効であり、そのロバストネスと一般化能力を確認した。