[論文レビュー] EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images

Changha Shin, Hae‐Gon Jeon+3 more|arXiv (Cornell University)|Apr 6, 2018

Advanced Vision and Imaging参考文献 7被引用数 17

ひとこと要約

EPINETは、エピポール幾何学を活用した完全畳み込みニューラルネットワークを提案し、光場画像からの高速かつ高精度な深度推定を実現する。4つの角度方向を処理するマルチストリームアーキテクチャと、光場に特化したデータ拡張を採用することで、HCI 4D Light Field Benchmarkで最先端の性能を達成し、精度と速度の両面で1位を獲得。2番目に精度の高かった手法よりも85倍高速でありながら、優れた深度マップ品質を維持している。

ABSTRACT

Light field cameras capture both the spatial and the angular properties of light rays in space. Due to its property, one can compute the depth from light fields in uncontrolled lighting environments, which is a big advantage over active sensing devices. Depth computed from light fields can be used for many applications including 3D modelling and refocusing. However, light field images from hand-held cameras have very narrow baselines with noise, making the depth estimation difficult. any approaches have been proposed to overcome these limitations for the light field depth estimation, but there is a clear trade-off between the accuracy and the speed in these methods. In this paper, we introduce a fast and accurate light field depth estimation method based on a fully-convolutional neural network. Our network is designed by considering the light field geometry and we also overcome the lack of training data by proposing light field specific data augmentation methods. We achieved the top rank in the HCI 4D Light Field Benchmark on most metrics, and we also demonstrate the effectiveness of the proposed method on real-world light-field images.

研究の動機と目的

• 狭い基線とノイジーなサブアパーチャー画像を伴うハンドヘルド光場カメラからの正確で効率的な深度推定の課題に対処すること。
• 光場深度推定のための深層学習モデルの学習データ不足問題を、光場に特化したデータ拡張技術を導入することで克服すること。
• エピポール幾何学を明示的に組み込んだ完全畳み込みニューラルネットワークを設計し、深度マップの品質と空間的一致性を向上させること。
• 性能と計算効率のトレードオフをバランスさせつつ、高い精度とリアルタイム推論速度を両立させること。

提案手法

• ネットワークは、サブアパーチャー画像の4つの角度方向（水平、垂直、および2つの対角方向）から特徴を抽出するために、同一で並列な4つの処理ストリームを採用し、方向不変性と向上した幾何的推論を実現する。
• 4つのストリームからの特徴量は、マージングネットワークを通じて統合され、深度予測に適した高レベル表現が得られる。
• 完全畳み込みアーキテクチャを採用することで、フル解像度の光場入力に対してエンドツーエンドで効率的な推論が可能となり、サブピクセル精度を達成する。
• 視点シフト、回転、スケーリング、転置、色のジャマリングを含む、光場画像の特性に特化した新しいデータ拡張戦略を導入し、学習データの多様性とモデルのロバスト性を向上させる。
• 損失関数を視差精度とエッジ保持性に最適化して、光場データセット上で教師あり学習によりエンドツーエンドで訓練する。
• 後処理として重み付き中央値フィルタを適用し、実世界データにおける疎な視差エラーを除去することで、最終的な深度マップ品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みニューラルネットワークは、光場画像におけるエピポール幾何学を効果的に活用して、深度推定の精度を向上させることができるか？
• RQ2 ドメイン特化のデータ拡張戦略を用いることで、光場深度推定におけるデータ不足問題はどのように緩和できるか？
• RQ3 角度方向を独立して処理するマルチストリームアーキテクチャは、深度マップ品質と境界のシャープネスをどの程度向上させられるか？
• RQ4 提案手法は、既存の最適化ベースおよび深層学習ベースの手法を上回る高精度とリアルタイム推論速度を両立させることができるか？

主な発見

• EPINETは、HCI 4D Light Field Benchmarkにおいて、不良ピixe比率、平均二乗誤差、実行時間の大多数の指標でトップランクを達成した。
• 2番目に精度の高かったOBER-cross+ANP手法よりも85倍高速でありながら、優れた深度品質を維持している。
• マルチストリームアーキテクチャにより、航空機の翼やおもちゃの頭部のような物体の境界が明確に検出可能であり、方向一致の一貫性に起因する。
• 提案されたデータ拡張戦略は、モデルの一般化性能と性能を顕著に向上させ、特に空間的に変動するノイズがあるDotsシーンのようなノイジーなシーンで顕著に効果を発揮した。
• Lytro Illumカメラの実世界の光場画像（9×9の角度分解能）に対してEPINETを適用したところ、高精度なメトリックスケールの3次元再構成が可能となり、速度と精度の両面で先行手法を上回った。
• テクスチャの欠如や反射性領域に対しても、限界はあるものの強力な性能を維持しており、今後のフォトメトリックまたは素材の事前知識の統合の余地があることが示唆された。