[論文レビュー] Deep 3D-Zoom Net: Unsupervised Learning of Photo-Realistic 3D-Zoom

Juan Luis Gonzalez Bello, Munchurl Kim|arXiv (Cornell University)|Sep 20, 2019

Advanced Vision and Imaging参考文献 22被引用数 4

ひとこと要約

本稿では、事前学習済みの視差推定ネットワークからの転移学習、バックプロジェクション再構成損失、敵対的判別器を活用することで、1枚の入力画像から写真のようにリアルな3Dズーム画像を生成する教師なし深層学習フレームワーク、Deep 3D-Zoom Netを提案する。本手法は、3Dズームの教師強化学習データを必要とせず、KITTIおよびCityscapesデータセットにおいて自然な画像品質とアーティファクト低減の面で最先端の結果を達成した。

ABSTRACT

The 3D-zoom operation is the positive translation of the camera in the Z-axis, perpendicular to the image plane. In contrast, the optical zoom changes the focal length and the digital zoom is used to enlarge a certain region of an image to the original image size. In this paper, we are the first to formulate an unsupervised 3D-zoom learning problem where images with an arbitrary zoom factor can be generated from a given single image. An unsupervised framework is convenient, as it is a challenging task to obtain a 3D-zoom dataset of natural scenes due to the need for special equipment to ensure camera movement is restricted to the Z-axis. In addition, the objects in the scenes should not move when being captured, which hinders the construction of a large dataset of outdoor scenes. We present a novel unsupervised framework to learn how to generate arbitrarily 3D-zoomed versions of a single image, not requiring a 3D-zoom ground truth, called the Deep 3D-Zoom Net. The Deep 3D-Zoom Net incorporates the following features: (i) transfer learning from a pre-trained disparity estimation network via a back re-projection reconstruction loss; (ii) a fully convolutional network architecture that models depth-image-based rendering (DIBR), taking into account high-frequency details without the need for estimating the intermediate disparity; and (iii) incorporating a discriminator network that acts as a no-reference penalty for unnaturally rendered areas. Even though there is no baseline to fairly compare our results, our method outperforms previous novel view synthesis research in terms of realistic appearance on large camera baselines. We performed extensive experiments to verify the effectiveness of our method on the KITTI and Cityscapes datasets.

研究の動機と目的

• カメラのZ軸方向への移動と動く物体に制限された、大規模で現実世界の3Dズームデータセットが不足していることの解決を目的とする。
• 高価な3Dズームの教師強化学習データに依存せずに、3Dズーム生成問題を教師なし学習タスクとして定式化・解決することを目的とする。
• 明示的な視差推定を必要とせず、深度と外観をモデル化することで、現実的でリアルな3Dズーム画像を合成する新しいフレームワークの開発を目的とする。
• 敵対的学習と知覚的損失を用いて、ゴースト化やぼやけなどのアーティファクトを低減し、画像のリアルさを向上させることを目的とする。
• 高速な推論と未学習の屋外シーンへの一般化を可能とし、KITTIおよびCityscapesデータセットで検証することを目的とする。

提案手法

• 教師強化学習済みの視差推定ネットワークからの転移学習を活用し、真の深度データを必要とせずに深度に敏感な特徴を初期化する。
• 異なるカメラポーズ下での入力画像と合成画像の整合性を強制する、新規のバックプロジェクション再構成損失を採用する。
• 中間の視差推定を回避するため、完全畳み込みネットワークアーキテクチャを用いて、入力画像から直接DIBR（深度画像ベースレンダリング）を実行する。
• 生成画像の不自然な領域や歪みをペナルティ化するため、ノンレファレンス品質メトリクスとしてのGANベースの判別器を統合する。
• 事前学習済みVGGネットワークの特徴に基づく知覚的損失を適用し、高周波数成分やテクスチャの忠実度を保持する。
• オクルージョンや劣化が顕著になる高ズーム要因で重点的に学習するため、左シフト正規分布（μ=3, σ=1）を用いたズーム要因のサンプリング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 3Dズーム画像生成を、3Dズームの教師強化学習データを必要とせずに教師なしで効果的に学習可能か？
• RQ2 1枚の画像からの3Dズームモデルは、事前学習済みの視差ネットワークをどのように活用し、間接的に3次元幾何を推定できるか？
• RQ3 バックプロジェクション再構成損失は、幾何的整合性と外観のリアルさをどの程度向上させるか？
• RQ4 敵対的学習は、ゴースト化やぼやけなどのアーティファクトをどの程度効果的に低減できるか？
• RQ5 提案手法は、学習分布外の多様な屋外シーン（例：Cityscapesデータセット）にも一般化可能か？

主な発見

• 本手法は、3Dズームベンチマークが存在するため直接のベースラインがないものの、KITTIおよびCityscapesデータセットにおいて写真的リアリズムの面で最先端の性能を達成した。
• 敵対的損失の導入により、平均NIQEスコアが2.99から2.86に低下し、知覚的画像品質の明確な向上が示された。
• 知覚的損失が品質向上に最も寄与しており、特に看板や車両のロゴなどのテクスチャ豊かな領域で顕著であった。
• モデルはズーム要因3.0まで高品質な3Dズーム画像を生成でき、Titan Xp GPU上で推論にわずか0.01秒を要した。
• モデルはCityscapesデータセットの未学習のシーンに対しても良好に一般化し、前方ワープやデジタルズームがぼやけや均一なスケーリングで失敗する状況でもリアルな結果を生成した。
• アブレーションスタディにより、すべての構成要素（リファインメントブロック、知覚的損失、敵対的損失）が画像品質の向上に寄与していることが確認され、特にゴーストアーティファクトの抑制において敵対的損失が顕著に有効であった。