[論文レビュー] Extreme View Synthesis

Inchang Choi, Orazio Gallo+3 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Vision and Imaging参考文献 35被引用数 5

ひとこと要約

本論文では、極端な基準基準外挿まで30倍に達する状況ですら、最小2枚の入力画像から高品質な新規ビューを生成するための新規手法であるExtreme View Synthesisを提案する。深度確率ボリュームを用いて不確実性をモデル化し、パッチベースの学習済み画像事前分布と組み合わせることで、アーチファクトを低減するように歪んだビューを精錬し、従来の手法が失敗するような極めて厳しい条件下でも視覚的に優れた結果を達成する。

ABSTRACT

We present Extreme View Synthesis, a solution for novel view extrapolation that works even when the number of input images is small--as few as two. In this context, occlusions and depth uncertainty are two of the most pressing issues, and worsen as the degree of extrapolation increases. We follow the traditional paradigm of performing depth-based warping and refinement, with a few key improvements. First, we estimate a depth probability volume, rather than just a single depth value for each pixel of the novel view. This allows us to leverage depth uncertainty in challenging regions, such as depth discontinuities. After using it to get an initial estimate of the novel view, we explicitly combine learned image priors and the depth uncertainty to synthesize a refined image with less artifacts. Our method is the first to show visually pleasing results for baseline magnifications of up to 30X.

研究の動機と目的

• 2枚の入力画像しか利用できない状況で、仮想カメラが入力視点から大きく離れている場合の新規ビュー合成の課題に対処すること。
• 極端なビュー外挿において、隠蔽領域や深度の不確実性が原因で生じるアーチファクトを低減すること。
• 幾何的制約と学習済み画像事前分布を組み合わせることで、極端なビュー合成における画像品質を向上させること。
• 単なる基準基準外挿を超えて、自由なカメラの動き（並進と回転）を可能にすること。
• 限られた入力データと高い外挿度において従来の手法が失敗する状況でも、視覚的に魅力的な結果を得られること。

提案手法

• 単一の深度値ではなく、各入力ビューごとに深度確率ボリュームを推定することで、深度の不確実性を捉え、深度不連続の処理に適した対応を可能にする。
• 入力の深度確率ボリュームを歪ませて融合し、新規ビュー用の深度確率ボリュームを作成することで、不確実性情報を保持する。
• 新規ビューの深度確率ボリュームを用いて微分可能レンダリングにより初期の新規ビューを合成する。
• パッチベースの精錬ネットワークを用いて初期画像を精錬し、深度確率分布に従って局所構造を改善し、アーチファクトを低減する。
• パッチのサンプリングを深度の不確実性に従わせることで、グローバルな画像事前分布と局所的なシーン幾何を両方活用する。
• 任意のカメラポーズに対応でき、補間および極端な外挿の両方で動作する。

実験結果

リサーチクエスチョン

• RQ1 極端な基準基準外挿において、わずか2枚の入力画像での新規ビュー合成が効果的に行えるか。
• RQ2 深度の不確実性をどのように活用すれば、極端なビュー合成における画像品質を向上させられるか。
• RQ3 学習済み画像事前分布を幾何的制約と効果的に組み合わせることで、非可視領域におけるアーチファクトを低減できるか。
• RQ4 既存のステレオ拡大法の限界を超えて、高品質な結果を得るのは可能か。
• RQ5 深度確率に従ってガイドされたパッチベースの精錬は、標準的な精錬ネットワークに比べて再構成品質をどのように向上させるか。

主な発見

• 本手法は30倍の基準基準外挿において、この極めて厳しい条件下で視覚的に魅力的な結果を初めて得た。
• わずか2枚の入力画像でも、30倍の外挿において、Stereo Magnificationなどの従来手法よりもシャープで整合性の高い画像を生成する。
• パッチベースの精錬ネットワークは、パッチガイドなしの標準的な精錬ネットワークに比べて著しく優れており、特に隠蔽領域の再構成において顕著な改善を示す。
• ドリーイントラジェクチャを含む多様なカメラ運動に対しても、高い品質を維持する。これは、特にビュー合成において困難な状況である。
• YouTubeから抽出したシーケンスにおける結果は、最小限の入力データでも実世界のシーンに強く一般化できることを示している。
• Soft3Dのような基準手法が多数のカメラを必要とするのに対し、本手法は少ない入力で競争力のある結果を達成する。