[論文レビュー] Novel View Synthesis for Large-scale Scene using Adversarial Loss

Xiaochuan Yin, Henglai Wei+3 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Vision and Imaging参考文献 17被引用数 8

ひとこと要約

本論文は、敵対的損失と逆深度特徴を用いて、大規模な屋外シーンにおける新規視点合成のための完全畳み込み型でエンド・ツー・エンドの深層学習フレームワークを提案する。CNNで学習されたスパarsな深度監視と、変換制約を備えたGANベースの損失を用いることで、幾何学的構造を明示的に組み込み、大規模なカメラ自己運動に対しても歪みのない高品質な画像を生成する。KITTIデータセットにおける定性的および定量的評価で、ベースライン手法を上回る性能を発揮した。

ABSTRACT

Novel view synthesis aims to synthesize new images from different viewpoints of given images. Most of previous works focus on generating novel views of certain objects with a fixed background. However, for some applications, such as virtual reality or robotic manipulations, large changes in background may occur due to the egomotion of the camera. Generated images of a large-scale environment from novel views may be distorted if the structure of the environment is not considered. In this work, we propose a novel fully convolutional network, that can take advantage of the structural information explicitly by incorporating the inverse depth features. The inverse depth features are obtained from CNNs trained with sparse labeled depth values. This framework can easily fuse multiple images from different viewpoints. To fill the missing textures in the generated image, adversarial loss is applied, which can also improve the overall image quality. Our method is evaluated on the KITTI dataset. The results show that our method can generate novel views of large-scale scene without distortion. The effectiveness of our approach is demonstrated through qualitative and quantitative evaluation.

研究の動機と目的

• カメラ自己運動に起因する背景構造の顕著な変化が生じる大規模な屋外環境において、高品質な新規視点を生成する課題に対処すること。
• 密度の高い3D再構成を必要とするか、視点間での構造的一致性をモデル化できない既存の幾何学ベースおよび学習ベースの手法の限界を克服すること。
• 標準的なL2損失に代えて敵対的学習を導入することで、合成画像の品質を向上させ、ぼやけを低減すること。
• 複数の入力画像を異なる視点から融合することで、構造的一致性と詳細回復を向上させること。
• 任意の入力画像サイズをサポートし、幾何学的監視を伴うエンド・ツー・エンド学習を可能にする完全畳み込み型ネットワークの開発

提案手法

• 本フレームワークは、単一の入力画像と対応するカメラポーズを入力とする完全畳み込み型ネットワークであり、スパースなラベル付き深度値で事前学習されたCNNから得られる逆深度特徴を用いて、幾何学的構造を符号化する。
• ネットワークは双線形サンプリングを用いて、カメラ変換と逆深度に基づいて特徴をワープし、新規視点からの微分可能な画像生成を実現する。
• 生成的敵対的ネットワーク（GAN）を主な損失関数として用い、知覚的品質の向上とぼやけの低減を図る。また、ポーズの一貫性を保つために、識別器に補助的な変換制約を追加する。
• 複数画像入力の場合、複数の視点からの特徴マップを統合するために最大値選択層を適用し、その後にアーチファクト低減と詳細忠実度向上のための統合畳み込み層を配置する。
• 全ネットワークを、敵対的損失（変換制約付き）とピクセルレベル再構成のためのL1損失を組み合わせた損失関数を用いてエンド・ツー・エンドで学習する。
• 明示的な3D再構成を回避し、幾何情報の一部を特徴マップに直接埋め込むことで、効率的でスケーラブルな推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的なL1またはL2損失と比較して、敵対的学習は大規模なシーンにおける合成新規視点の知覚的品質をどのように向上させるか？
• RQ2 明示的な3D再構成なしに、スパースな深度監視から得られる逆深度特徴は、視点合成において構造的幾何をどの程度正確に符号化できるか？
• RQ3 複数視点融合は、複雑な屋外環境における合成画像の正確性と詳細性をどの程度向上させるか？
• RQ4 本フレームワークは任意の入力画像サイズに一般化可能であり、再トレーニングなしに性能を維持できるか？
• RQ5 GAN識別器に変換制約を組み込むことで、生成画像におけるポーズ一貫性と構造的忠実度は向上するか？

主な発見

• 2枚の入力画像を用いた場合、KITTIデータセットにおけるL1誤差は0.2318を達成し、外観フローのベースライン（0.2698）を上回った。これは、優れた構造的一致性を示している。
• 融合を適用した本手法のインセプションスコア（3.0945 ± 0.1060）は、ベースラインの外観フロー（3.0959 ± 0.0788）と同等であり、優れた画像多様性と品質を示している。
• 定性的な結果から、本手法は大規模なカメラ自己運動に対してもシーン構造を保持し、歪みを生じさせないことが確認された。これに対して、ベースライン手法はアーチファクトを生成した。
• 敵対的損失の導入により、画像のシャープネスとテクスチャの現実性が著しく向上し、L2損失に基づく手法で一般的に見られるぼやけが低減された。
• 最大値選択後の融合層により、二重エッジやノイズが低減され、複数視点合成における視覚的整合性と詳細回復が向上した。
• 本フレームワークは、任意サイズの入力から高品質な画像を生成でき、中間の3D再構成を経由せずエンド・ツー・エンド学習を実現した。