[論文レビュー] Synthesizing a 4D Spatio-Angular Consistent Light Field from a Single Image

Andre Ivan, Williem Williem+1 more|arXiv (Cornell University)|Mar 29, 2019

Advanced Vision and Imaging参考文献 28被引用数 5

ひとこと要約

本稿では、物理ベースのレンダリングや後処理ネットワークを回避するため、外見フローを幾何的表現として用い、単一の画像から4次元の空間的・角度的整合性を持つ光場を合成するエンドツーエンドのディーブラーニングモデルを提案する。本手法は、光場ドメインの知識に基づく新たな損失関数を導入し、空間的・角度的整合性を強制することで、任意のシーンにおいて優れた深度推定およびフォーカス調整能力を実現し、最先端の性能を達成した。

ABSTRACT

Synthesizing a densely sampled light field from a single image is highly beneficial for many applications. The conventional method reconstructs a depth map and relies on physical-based rendering and a secondary network to improve the synthesized novel views. Simple pixel-based loss also limits the network by making it rely on pixel intensity cue rather than geometric reasoning. In this study, we show that a different geometric representation, namely, appearance flow, can be used to synthesize a light field from a single image robustly and directly. A single end-to-end deep neural network that does not require a physical-based approach nor a post-processing subnetwork is proposed. Two novel loss functions based on known light field domain knowledge are presented to enable the network to preserve the spatio-angular consistency between sub-aperture images effectively. Experimental results show that the proposed model successfully synthesizes dense light fields and qualitatively and quantitatively outperforms the previous model . The method can be generalized to arbitrary scenes, rather than focusing on a particular class of object. The synthesized light field can be used for various applications, such as depth estimation and refocusing.

研究の動機と目的

• 単一の画像から密にサンプリングされた4次元光場を合成するという不適切に定義された問題に対処すること。
• 深度マップや物理ベースのレンダリングに依存しないように、外見フローを幾何的表現として用いること。
• 光場ドメインの知識に基づいたドメインに適応した損失関数を用いて、合成された光場における空間的・角度的整合性を向上させること。
• 特定の物体クラスに特化した先行手法とは異なり、複雑な背景や非ラムベールト面を含む任意のシーンに良好に一般化できること。
• 合成された光場を用いて、深度推定やフォーカス調整などの後続応用を可能にすること。

提案手法

• 単一のRGB入力から、xおよびy方向の外見フロー（u×v×2）を直接予測するエンドツーエンドのディープニューラルネットワークを用いる。
• 多スケールのコンテキストを捉え、細部を保持するため、拡張畳み込みを用いた密接続ネットワークを採用する。
• 2つの新しい損失関数を導入する：全体的な光場全体に整合性を強制するグローバル損失と、サブアパーチャレベルでの角度的および空間的整合性を保持するローカル損失。
• 画像のシフトを適用して輝度（Y）およびRGB光場を生成し、Yは損失計算に、RGBは出力に使用する。
• 外見フローのノイズ低減と不連続領域でのエッジの保持を図るため、ガイド付きフィルタを用いた後処理ステップを適用する。
• 予測された外見フローから、双線形補間を用いて最終的な光場を生成することで、ビュー合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 深度マップや物理ベースのレンダリングに依存せずに、外見フローが単一画像からの光場合成に有用な幾何的表現として機能するか。
• RQ2 学習可能でドメインに適応した損失関数を用いて、合成された光場における空間的・角度的整合性をどのように強制できるか。
• RQ3 1つのエンドツーエンドのディープネットワークが、複雑な背景や非ラムベールト面を含む任意のシーンに、先行手法よりも優れた一般化性能を示せるか。
• RQ4 標準的なピxls単位の損失関数と比較して、提案された損失関数が幾何的正確性をどの程度向上させるか。
• RQ5 合成された光場が、深度推定やフォーカス調整などの後続応用で効果的に利用できるか。

主な発見

• 後処理を施した場合、フラワーデータセットにおいてPSNRが36.55、SSIMが0.932を達成し、先行する単一画像手法を上回った。
• 一般化データセットでは、PSNRが30.92、SSIMが0.87を達成し、多様なシーンへの強い一般化性能を示した。
• アブレーションスタディの結果、グローバル損失とローカル損失を併用した場合が最良の性能（PSNR 36.31、SSIM 0.931）を示し、個別の損失関数やL1損失を上回った。
• 一般化データセットでは、後処理により最大1 dBの性能向上が見られ、複雑な領域におけるノイズの多いフローの平滑化効果が示された。
• 合成された光場は、高品質な深度推定と合成されたボケの再現を可能にし、幾何的正確性と後続タスクにおける実用性を確認した。
• 特に、困難なシーンにおける鏡面反射や誤ったEPI勾配の処理において、Srinivasanら[18]と比較してより優れた一般化性能を示した。