[論文レビュー] Automatic Layer Separation using Light Field Imaging

Qiaosong Wang, Haiting Lin+3 more|arXiv (Cornell University)|Jun 15, 2015

Advanced Vision and Imaging参考文献 14被引用数 13

ひとこと要約

本稿では、反射や半透明性を含むシーンにおける一括処理による自動レイヤー分離のための手法を提案する。光場撮影により得られる歪みを加えた画像スタックに、頑健な主成分分析（RPCA）を適用することで、透過層と二次層を同時に分離するとともに、深度推定を実現する。本手法は、ユーザー入力や複数枚の露光を必要とせず、静的・動的シーンの両方で頑健な性能を発揮する。

ABSTRACT

We propose a novel approach that jointly removes reflection or translucent layer from a scene and estimates scene depth. The input data are captured via light field imaging. The problem is couched as minimizing the rank of the transmitted scene layer via Robust Principle Component Analysis (RPCA). We also impose regularization based on piecewise smoothness, gradient sparsity, and layer independence to simultaneously recover 3D geometry of the transmitted layer. Experimental results on synthetic and real data show that our technique is robust and reliable, and can handle a broad range of layer separation problems.

研究の動機と目的

• 従来、複数枚の画像やユーザー入力が必要とされる、単一画像からの反射または半透明レイヤー分離という、不適切に定義された問題に対処すること。
• 複数回の撮影やユーザーによる事前知識を必要とせず、光場撮影を用いて自動的かつ一括処理でレイヤー分離を実現すること。
• 視差マップに基づく歪み画像スタックの低ランク構造を活用し、シーンの深度推定と同時にレイヤー分離を実現すること。
• 携帯可能な光場カメラアレイを用いることで、従来の多視点手法では実現が困難であった動的シーンに対応すること。
• SIFTフローによる初期深度推定と、繰り返しRPCAに基づく最適化による改善を組み合わせることで、先行手法に比べてより頑健で正確な性能を実現すること。

提案手法

• 本手法は、携帯可能な $3\times3$ カメラアレイを用いて光場を撮影し、中央の視点を基準視点とする。
• 多視点光場データの整合性を図るために、SIFTフローを用いて初期視差マップを推定する。
• 視差マップを用いて、すべての光場視点を基準視点に歪ませ、2次元の画像スタックを形成する。
• 透過層の歪み画像スタックは低ランクであると予想されるが、二次層（例：反射）はスパースかつ不規則である。この構造が、Robust PCA（RPCA）分解を可能にする。
• RPCAに基づく反復的最適化により、同時にレイヤー分離と視差マップの精緻化を実現する。
• 幾何的・光度的整合性を向上させるために、区分的滑らかさ、勾配スパarsity、レイヤー独立性の追加正則化を導入する。

実験結果

リサーチクエスチョン

• RQ1 光場撮影により、ユーザー入力や複数露光を必要とせず、一括処理で自動的なレイヤー分離が可能か？
• RQ2 歪み光場画像スタックの低ランク構造を効果的に活用することで、同時にレイヤー分離と深度推定が可能か？
• RQ3 従来の多視点手法と比較して、動的なシーン（移動する反射を含む）における本手法の性能はいかがなものか？
• RQ4 透過層の優位性が、初期視差推定およびレイヤー分離の精度に与える影響は何か？
• RQ5 深度ガイド付きフォーカスのような後続のアプリケーションに適した高品質な深度マップを生成できるか？

主な発見

• 本手法は、合成および実世界の静的シーンにおいて、反射や半透明性を効果的に除去しながら、繊細なテクスチャーや幾何的詳細を保持する、頑健なレイヤー分離を達成した。
• 深度ガイド付きフォーカスなどの高度な画像ベースレンダリング効果を実現できる高品質な深度マップを生成した。図7にその例を示す。
• 本手法は、透過層および二次層に移動する物体を含む動的シーンに対しても、類似手法では達成されていなかった能力を有している。
• ブレンドパラメータ $\alpha \leq 25\%$ の場合、両レイヤーで誤って回復されたピxlsが5%未満で、高い再構成精度を達成した。
• $\alpha > 35\%$ では性能が著しく低下し、$\alpha > 50\%$ では完全に失敗した。これは、透過層が支配的であることに強い依存性があることを示している。
• 1フレームの $640\times 480$ 光場動画（9視点）の処理に約7分を要するが、同時にレイヤー分離と深度推定を実行するという複雑さを考慮すると、これは競争力のある性能である。