[論文レビュー] Learning to Synthesize a 4D RGBD Light Field from a Single Image

Pratul P. Srinivasan, Tongzhou Wang+3 more|arXiv (Cornell University)|Aug 10, 2017

Advanced Vision and Imaging参考文献 26被引用数 15

ひとこと要約

本論文では、1枚の2D RGB画像からレイの深度を予測し、ラムベール光線場をレンダリングして、隠れ領域や非ラムベール効果を補正することで、4次元RGBD光線場を合成する深層学習フレームワークを提案する。主な貢献は、自己教師あり単一画像深度推定の性能を向上させる、新たな深度一貫性正則化手法であり、花の画像で最先端の性能を達成するとともに、おもちゃやスマートフォンで撮影された画像への一般化も可能である。

ABSTRACT

We present a machine learning algorithm that takes as input a 2D RGB image and synthesizes a 4D RGBD light field (color and depth of the scene in each ray direction). For training, we introduce the largest public light field dataset, consisting of over 3300 plenoptic camera light fields of scenes containing flowers and plants. Our synthesis pipeline consists of a convolutional neural network (CNN) that estimates scene geometry, a stage that renders a Lambertian light field using that geometry, and a second CNN that predicts occluded rays and non-Lambertian effects. Our algorithm builds on recent view synthesis methods, but is unique in predicting RGBD for each light field ray and improving unsupervised single image depth estimation by enforcing consistency of ray depths that should intersect the same scene point. Please see our supplementary video at https://youtu.be/yLCvWoQLnms

研究の動機と目的

• 1枚の写真から高密度な4次元光線場に拡張することで、日常的な写真撮影において合成されたピントイン・アウトや絞り制御を可能にする。
• 同じ3次元シーン上の点と交差する光線同士の物理的整合性を強制することで、教師なし単一画像深度推定を向上させる。
• 深層学習が1枚の入力画像から複雑な隠れ領域や深度変化を伴う高品質な光線場を合成できることを示す。
• 学習とベンチマークのための最大規模の公開光線場データセット（3,343シーン）を構築・公開し、プレノプティックカメラで撮影された花や植物のデータを収集する。
• 元の学習ドメインを超えて、おもちゃや消費者用スマートフォンで撮影された画像など、多様なシーンカテゴリへの一般化を検証する。

提案手法

• 本手法は2段階のCNNパイプラインを用いる：まず、4次元光線場全体にわたる各光線の深度を予測する深度推定ネットワークを実行し、次に予測された幾何学的構造を用いてラムベール近似の光線場をレンダリングする段階へ進む。
• 同じ3次元シーン上の点と交差する光線同士の整合性を強制する、新たな物理的ベースの深度正則化を導入し、教師なしで深度推定の精度を向上させる。
• 2番目のCNNが、ラムベール光線場を精緻化し、遮蔽された光線や非ラムベール効果（例：誤った鏡面反射や影）を予測することで、初期レンダリングのアーチファクトを是正する。
• 全ネットワークを、ラムベール光線場および精緻化済み光線場の再構成誤差に加え、深度一貫性正則化を最小化するようにエンドツーエンドで学習する。
• 本フレームワークは、Lytro Illumカメラを用いて収集された新しい3,343シーンのRGBD光線場データセット上で評価され、本物のプレノプティックデータを用いた学習が可能である。
• 一般化性能は、4,281シーンのおもちゃのデータセットおよびiPhone 5sで撮影された画像を用いてテストされ、入力品質やシーンの多様性にかかわらず、堅牢な性能を示している。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、複雑な隠れ領域や深度変化を含め、1枚の2D RGB画像から高精度な4次元RGBD光線場を合成できるか？
• RQ2 同じ3次元点と交差する光線同士に深度の一貫性を強制することで、従来の非学習手法を上回る自己教師あり単一画像深度推定が可能になるか？
• RQ3 花や植物のシーンで学習したモデルが、おもちゃやスマートフォンで撮影された画像など、他のシーンカテゴリにどの程度一般化できるか？
• RQ4 合成された光線場は、低基準基準の入力ビューからでも、合成されたボケ味やピントイン・アウトのリアルな写真効果を実現できるか？
• RQ5 教師あり幾何学的アノテーションが一切ない大規模な本物の光線場データセットのみで、高品質な光線場合成モデルを学習することは可能か？

主な発見

• テストセットの外周ビューにおいて、本手法は平均L1誤差0.0176を達成し、入力に使われなかったビューのサブセットではアピアランスフロー法（0.0145）を上回った。
• 深度予測は、全光線場を用いる最先端の非学習手法と同等またはそれ以上の性能であり、深度一貫性正則化の有効性を示している。
• スマートフォンの画像（例：iPhone 5s）に対しても良好に一般化し、現実的で人間が納得できる隠れ領域や深度範囲を持つ深度と光線場を生成した。
• 合成された光線場により、高品質な写真効果が実現可能であり、絞りをf/28からf/3.5に拡大して合成ボケを生成し、花から背景へピントを移動させるリファocusingが可能になった。
• 4,281シーンの2番目のデータセット（おもちゃ）に対しても一般化が可能で、平均L1誤差0.027を達成し、花のデータセット（0.026）と同等の性能を示したが、シーンの多様性のため、知覚的品質はわずかに低下した。
• 推論は高速であり、1台のTitan X GPUで187×270×8×8の光線場と深度を1秒未満で合成可能である。