[論文レビュー] View Synthesis by Appearance Flow

Tinghui Zhou, Shubham Tulsiani+3 more|arXiv (Cornell University)|May 11, 2016

Advanced Vision and Imaging参考文献 32被引用数 26

ひとこと要約

この論文は、入力画像からピクセルをコピーする位置を示す2次元座標ベクトル（外見フロー）を学習することで、新規ビュー合成のための新規なアプローチを提案する。ピクセルを新たに生成するのではなく、畳み込みニューラルネットワーク（CNN）を用いてこれらのフローを予測することで、高精細で詳細を保持した合成が可能となり、物体およびシーンにおいて、直接ピクセル生成手法よりも知覚的品質および定量的指標で優れる。

ABSTRACT

We address the problem of novel view synthesis: given an input image, synthesizing new images of the same object or scene observed from arbitrary viewpoints. We approach this as a learning task but, critically, instead of learning to synthesize pixels from scratch, we learn to copy them from the input image. Our approach exploits the observation that the visual appearance of different views of the same instance is highly correlated, and such correlation could be explicitly learned by training a convolutional neural network (CNN) to predict appearance flows -- 2-D coordinate vectors specifying which pixels in the input view could be used to reconstruct the target view. Furthermore, the proposed framework easily generalizes to multiple input views by learning how to optimally combine single-view predictions. We show that for both objects and scenes, our approach is able to synthesize novel views of higher perceptual quality than previous CNN-based techniques.

研究の動機と目的

• 単一または複数の入力画像から、物体およびシーンのリアルな新規ビューを合成する課題に対処すること。
• 従来の学習ベース手法と比較して、視覚的品質を向上させるとともにぼやけを低減すること。
• 明示的な3次元構造推定を回避しつつ、学習された外見相関を用いて視覚的詳細を保持し、隠れ領域を適切に処理すること。
• 単一ビュー予測の最適な統合を学習することで、複数の入力ビューに一般化すること。
• 生成された内容に見られないものを「空想」することなく、入力ビューからのピクセルコピーを活用することで、詳細を保持した合成を可能にすること。

提案手法

• モデルは、各ターゲットビューのピクセルに対して、入力画像内のソースピクセル座標を示す2次元ベクトル（外見フロー）を予測するためのCNNを学習する。
• RGB値を生成する代わりに、学習されたフローフィールドを介して入力画像のピクセルを「コピー」するようにモデルを学習し、ノイズからのピクセル生成の必要性を低減する。
• 従来の研究と同様にエンコーダ・デコーダ構造にスキップ接続を用いるが、ピクセル生成の代わりにフロー予測を実装する。
• 複数ビューの合成では、異なる可微分融合機構を用いて複数の入力ビューからの予測を統合する。
• 予測画像と真値画像のL1距離に基づく再構成損失を用い、勾配の流れを改善するためのマルチスケールの監視を適用してネットワークを学習する。
• 合成学習データの統計的特徴と一致させるために、実画像（例：PASCAL VOC）に事前処理を施し、ゼロショット一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外見フロー予測は、知覚的品質の観点から、直接ピクセル生成を上回ることができるか？
• RQ2 フローに基づくアプローチは、エンドツーエンドの生成モデルと比較して、細かなディテールやエッジをよりよく保持できるか？
• RQ3 単一ビューのフローネットワークは、PASCAL VOCなどのデータセットからの実画像にどれほど一般化できるか？
• RQ4 複数ビュー統合は、単一ビューのフローフレームワークと比較して、性能およびロバストネスを向上させるか？
• RQ5 明示的な3次元監視なしに、長距離の外見相関を学習できるか？

主な発見

• KITTIデータセット（シーン）において、単一ビュー設定では平均L1誤差が0.048に達し、ベースライン[1]の0.072よりも顕著に低い。
• KITTIの複数ビュー設定では、L1誤差が0.042にまで低下し、追加の入力ビューによって性能が向上していることが示された。
• PASCAL VOCでは、学習データの統計と一致させるための事前処理を施した後、実画像に一般化でき、ベースライン[1]よりもより現実的で詳細な結果を生成した。
• 視覚的比較では、複雑なシーンにおいても、本手法がテクスチャディテールおよびエッジ境界をよりよく保持していることが明らかになった。
• 長距離フロー推定に起因する歪みが、特に隠れ領域や高動的領域で失敗事例として観察された。
• 物体およびシーンの両方のデータセットにおいて、定量的（L1誤差）および定性的（知覚的品質）な評価で、ベースラインのピクセル生成手法を上回った。