[論文レビュー] Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image

Ronghang Hu, Nikhila Ravi+2 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Vision and Imaging参考文献 52被引用数 8

ひとこと要約

Worldsheetは、深度監視によるシーンジオメトリを予測し、可変可能な3Dメッシュシートをシーンにフィットさせる方法により、カテゴリに依存しないエンドツーエンド微分可能な手法を提案する。本手法は微分可能なテクスチャサンプリングとレンダリングを用い、2D画像再構成損失によって学習を行う。Matterport、Replica、RealEstate10Kのデータセットにおいて、高解像度の屋外画像と大きな視点変化を伴う状況でも最先端の性能を達成している。

ABSTRACT

We present Worldsheet, a method for novel view synthesis using just a single RGB image as input. The main insight is that simply shrink-wrapping a planar mesh sheet onto the input image, consistent with the learned intermediate depth, captures underlying geometry sufficient to generate photorealistic unseen views with large viewpoint changes. To operationalize this, we propose a novel differentiable texture sampler that allows our wrapped mesh sheet to be textured and rendered differentiably into an image from a target viewpoint. Our approach is category-agnostic, end-to-end trainable without using any 3D supervision, and requires a single image at test time. We also explore a simple extension by stacking multiple layers of Worldsheets to better handle occlusions. Worldsheet consistently outperforms prior state-of-the-art methods on single-image view synthesis across several datasets. Furthermore, this simple idea captures novel views surprisingly well on a wide range of high-resolution in-the-wild images, converting them into navigable 3D pop-ups. Video results and code are available at https://worldsheet.github.io.

研究の動機と目的

• テスト時に3Dの監視情報や複数のビューを必要とせずに、1枚のRGB画像から新規ビュー合成を可能にすること。
• カテゴリに依存しないエンドツーエンド微分可能な手法を開発し、マルチビューの監視情報から3Dジオメトリとテクスチャを同時に学習すること。
• 可変可能なメッシュシートを、シーン再構成とビュー合成のためのスパarsな微分可能な3D表現として用いることの可能性を調査すること。
• 複雑なシーン、オクルージョン、大きな視点変化に対処するためのメッシュワープの有効性を評価すること。
• メッシュ解像度とマルチレイヤードシートの影響が、ビュー合成品質に与える影響を調査すること。

提案手法

• 本手法は、予測された深度と2Dグリッドオフセットを用いて、平面メッシュグリッドをシーンにワープすることでWorldsheetを構築し、3Dメッシュ表現を形成する。
• 入力画像を3Dメッシュジオメトリに投影するための新規な微分可能なテクスチャサンプラーを提案し、テクスチャマッピングプロセスにおける勾配計算を可能にする。
• 微分可能なレンダラを用いて、新規の視点からメッシュをレンダリングし、学習は2D画像再構成損失のみで行う。
• メッシュラプラシアン損失による幾何的正則化により、最適化中の不自然なメッシュ歪みを防ぎ、変形の安定性を高める。
• マルチレイヤー拡張により、別々のメッシュシートを重ね合わせ、深度の不連続性をモデル化し、オクルージョン処理を改善する。
• テスト時に明示的な3D監視情報や真値の深度を一切使用せず、1シーンあたり2つのビューのみでエンドツーエンドに学習する。

Figure 2: An overview of our Worldsheet approach. Given an input view $I_{in}$ , we build a scene mesh by warping a $W_{m}\times H_{m}$ grid sheet onto the scene geometry via grid offset $(\Delta\hat{x},\Delta\hat{y})$ and depth $z$ (Sec. 3.1 ). Then, we sample the UV texture map $\hat{T}$ of the sc

実験結果

リサーチクエスチョン

• RQ1 1枚の可変可能な3Dメッシュシートを用いて、1枚の入力画像からシーンジオメトリを効果的に再構築し、新規ビューを合成できるか？
• RQ2 微分可能なテクスチャサンプリングとレンダリングは、3D監視情報なしでエンドツーエンド学習を可能にするか？
• RQ3 メッシュワープは、屋外シーン、屋内環境、芸術的絵画など多様なシーンカテゴリに一般化するか？
• RQ4 マルチレイヤードWorldsheetは、大きな視点変化におけるオクルージョンモデル化とパララックス効果の改善に寄与するか？
• RQ5 メッシュ解像度と幾何的正則化は、合成されたビューの品質にどのように影響するか？

主な発見

• Worldsheetは、Matterport3D、Replica、RealEstate10Kのデータセットで最先端の性能を達成し、PSNRおよびLPIPS指標において、先行手法を大きく上回った。
• RealEstate10Kでは、65×65のメッシュを用いてPSNRが26.74を達成し、SynSinや他のSOTAベースラインを顕著に上回った。
• 960×960解像度の屋外画像で、大きな視点変化を伴っても、高品質で写真のような新規ビューを生成できた。
• アブレーションスタディの結果、メッシュラプラシアン正則化が安定した変形に不可欠であり、正則化が強すぎると性能が低下することが判明した。
• 高解像度のメッシュ（例：65×65）は詳細の捉え込みと性能向上に寄与したが、高解像度ではグリッドオフセット成分の重要性は相対的に低下した。
• マルチレイヤードWorldsheetは、オクルージョンとパララックス効果の質的処理を改善したが、標準指標における定量的向上は限定的であった。

Figure 3: Parts of the target view (the grey area in b) are often invisible from the input and must be imagined based on prior knowledge. We make plausible predictions over the invisible regions with an inpainting network (c). However, this task is inherently uncertain ( e.g . one cannot be sure abo