[論文レビュー] Fast and Accurate Optical Flow based Depth Map Estimation from Light Fields

Yang Chen, Martin Alain+1 more|arXiv (Cornell University)|Aug 11, 2020

Advanced Vision and Imaging参考文献 27被引用数 33

ひとこと要約

この論文は、角度次元に沿った光場の光学フローを適用し、初期化に CPM を用い、特徴フローの時空-角度フィルタリングで密な一貫した視差マップを得て、それを深度に変換し、追加で密な点群を生成できる深度推定法を提案します。

ABSTRACT

Depth map estimation is a crucial task in computer vision, and new approaches have recently emerged taking advantage of light fields, as this new imaging modality captures much more information about the angular direction of light rays compared to common approaches based on stereoscopic images or multi-view. In this paper, we propose a novel depth estimation method from light fields based on existing optical flow estimation methods. The optical flow estimator is applied on a sequence of images taken along an angular dimension of the light field, which produces several disparity map estimates. Considering both accuracy and efficiency, we choose the feature flow method as our optical flow estimator. Thanks to its spatio-temporal edge-aware filtering properties, the different disparity map estimates that we obtain are very consistent, which allows a fast and simple aggregation step to create a single disparity map, which can then converted into a depth map. Since the disparity map estimates are consistent, we can also create a depth map from each disparity estimate, and then aggregate the different depth maps in the 3D space to create a single dense depth map.

研究の動機と目的

• 4D 光場の角度情報を活用した深度マップ推定の動機づけ。
• 光場の角度次元に沿った高速で正確な光学フロー基盤のパイプラインを開発。
• コースからファインへのパッチマッチング（CPM）と時空-角度のエッジ認識フィルタリングを組み合わせて、密で一貫した視差推定を得る。
• 複数の視差マップを集約して密な深度マップまたは密な3D点群を作成。

提案手法

• 一つの角度次元を固定し、ビューの連続を取ることで3D時空-角度ボリュームを抽出。
• 階層的（粗さ→細さ）パッチマッチング（CPM）を用いて連続ビュ間の光学フローを初期化。
• エッジ認識の時空-角度フィルタ（特徴フロー）を適用して、角度スライスに沿って疎な対応を密化・正規化。
• 角度ビュー間で視差推定を集約し、最終深度マップを単純な中央値と一段階の変分精練で形成。
• オプションで複数の深度マップを融合し追加密な3D点群を作成。

実験結果

リサーチクエスチョン

• RQ1 角度次元の光学フローは光場の深度推定において正確な視差推定を提供できるか？
• RQ2 CPMで初期化し、特徴フローでフィルタリングすることは速度と精度の有利なトレードオフを生むか？
• RQ3 角度の一貫性フィルタリングは深度マップの質とエッジ保持にどのような影響を与えるか？
• RQ4 複数の視差推定を融合して、グローバル最適化を高くコストをかけずにより密な3D点群を作れるか？

主な発見

• 角度の時空-角度特徴フロー・フィルタリングは、初期の疎な対応に対して光学フローの精度と一貫性を大幅に向上させる。
• CPM 初期化は、 tested initializations の中で速度と精度のバランスにおいて最も良い性能を提供。
• 単純な中央値集約と一歩の変分精練は、角度の一貫性により高品質な最終深度マップをもたらす。
• 本手法は HCI データセット上で最先端の光場深度推定法と比較して競争力のある精度と速度を実現。
• 複数の深度推定を3D空間で集約することで追加密な点群を実現し、単一の深度マップの密度を上回るケースもある。
• エッジ保持の結果は物体境界やノイズの多いシーンで有利だが、ローカルなフィルタリングはグローバル最適化ほど滑らかでない場合がある。