[論文レビュー] EPI-based Oriented Relation Networks for Light Field Depth Estimation

Kunyuan Li, Jun Zhang+3 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Vision and Imaging参考文献 8被引用数 16

ひとこと要約

本稿では、エピポールプレーン画像（EPI）を用いた光場深度推定のためのエンドツーエンド完全畳み込みネットワークを提案する。EPIパッチ内の線の向きの幾何的関係をモデル化するための方向関係モジュール（ORM）を導入することで、最先端の性能を達成した。4D光場ベンチマークにおいて、後処理を施さずにボックスやサイドボードといった重要なシーンで既存手法を上回り、訓練データの多様性を高めるためにフォーカスシフトに基づくデータ増強技術を導入した。

ABSTRACT

Light field cameras record not only the spatial information of observed scenes but also the directions of all incoming light rays. The spatial and angular information implicitly contain geometrical characteristics such as multi-view or epipolar geometry, which can be exploited to improve the performance of depth estimation. An Epipolar Plane Image (EPI), the unique 2D spatial-angular slice of the light field, contains patterns of oriented lines. The slope of these lines is associated with the disparity. Benefiting from this property of EPIs, some representative methods estimate depth maps by analyzing the disparity of each line in EPIs. However, these methods often extract the optimal slope of the lines from EPIs while ignoring the relationship between neighboring pixels, which leads to inaccurate depth map predictions. Based on the observation that an oriented line and its neighboring pixels in an EPI share a similar linear structure, we propose an end-to-end fully convolutional network (FCN) to estimate the depth value of the intersection point on the horizontal and vertical EPIs. Specifically, we present a new feature-extraction module, called Oriented Relation Module (ORM), that constructs the relationship between the line orientations. To facilitate training, we also propose a refocusing-based data augmentation method to obtain different slopes from EPIs of the same scene point. Extensive experiments verify the efficacy of learning relations and show that our approach is competitive to other state-of-the-art methods. The code and the trained models are available at https://github.com/lkyahpu/EPI_ORM.git.

研究の動機と目的

• EPI内の隣接ピクセル間の空間的関係を無視する既存のEPIベースの深度推定手法の限界を解消すること。
• EPIパッチ内の方向付き線の幾何的関係を明示的にモデル化することで、深度マップの精度を向上させること。
• 後処理に依存しない堅牢なエンドツーエンド学習フレームワークを設計することで、深度推定の依存性を低減すること。
• 光場学習におけるデータ不足を克服するため、同じシーンポイントから多様なEPI勾配を生成するフォーカスシフトに基づくデータ増強法を提案すること。
• 従来の空間的・時系列的関係ネットワークとは異なる、EPIに特化した新たな関係モデリングアプローチを確立すること。

提案手法

• 水平および垂直のEPIパッチのための独立した二本のブランチを持つ疑似シアンセイ完全畳み込みネットワーク（FCN）を採用し、空間的および角度的特徴の独立学習を可能にする。
• 中心ピクセルとその近傍との関係を抽出・推論するための新規な方向関係モジュール（ORM）を導入し、線の向きの一貫性に注目する。
• 特徴の分布や固定位置を仮定せず、視差推定に不可欠な幾何的構造を捉えるために、方向付き線間の依存関係をモデル化する。
• 1つのシーンポイントから多様な勾配を持つEPIを合成するフォーカスシフトに基づくデータ増強技術を提案し、訓練データの多様性と耐性を向上させる。
• 真値視差を用いて4D光場ベンチマークデータセット上でエンドツーエンドに学習し、両方のEPIブランチからの特徴を統合するマージブロックを用いて最終的な深度予測を行う。
• 重い後処理を回避し、ネットワークのインダクティブバイアスと関係性推論に依存して、直接正確な視差マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 線の最適な勾配を抽出する手法と比較して、EPIパッチ内の方向付き線の幾何的関係をモデル化することで、深度推定の精度が向上するか？
• RQ2 線の向きの一貫性を捉える専用の関係モジュール（ORM）を導入することで、EPIベースの深度推定における特徴表現が向上するか？
• RQ3 フォーカスシフトに基づくデータ増強は、光場深度推定における訓練データの変動性を効果的に増やし、一般化性能を向上させることができるか？
• RQ4 特にオクルージョンやテクスチャが乏しい領域を含む困難なシーンにおいて、本手法は最先端のアプローチと比較して精度と計算効率の両面で優れているか？
• RQ5 従来の研究で一般的に用いられる後処理最適化手法に依存せずに、本手法がどれほど高い性能を達成できるか？

主な発見

• 本手法は4D光場ベンチマークの8シーン中4シーンで最高性能を達成し、ボックスシーン（BadPix誤差13.373）とサイドボードシーン（BadPix誤差5.580）で最低の誤差を記録した。
• コットンシーンではBadPix誤差0.869を達成し、次善の手法（0.810）をわずかに上回り、ピラミッドシーン（0.240）で最高の結果を達成した。
• ピラミッドシーンではMSE誤差0.016を記録し、次善の手法（0.020）を上回り、他のすべてのシーンでも上位3位以内にランクインした。
• EPINET（当時最先端）と比較して、ボックスおよびサイドボードシーンでより正確な視差マップを生成したが、2本のブランチとパラメータ数を半分（30層対28層、4ブランチ）に抑えた。
• 多くの最先端手法が予測値を精緻化するために追加の最適化ステップを必要としているのに対し、本手法は後処理なしで競争力のある結果を達成した。
• ドットシーンではノイズによる誤った線推定に苦しんでおり、将来的にはグローバルな線制約の統合が求められる。