[論文レビュー] Deep Depth From Focus

Caner Hazırbaş|arXiv (Cornell University)|Apr 4, 2017

Image Processing Techniques and Applications参考文献 40被引用数 6

ひとこと要約

本論文では、光分解像およびRGB-Dの真値を備えた新規の720枚の画像から構成される大規模データセットを活用して、深度からフォーカス（DFF）のための最初のエンドツーエンドの深層学習手法であるDDFFNetを提案する。デジタルに生成された焦点スタックと実際の深度マップを用いて訓練することで、DDFFNetは古典的手法に比べて深度誤差を75％以上低減し、GPU上で0.58秒で視差マップを予測することができる。

ABSTRACT

Depth from focus (DFF) is one of the classical ill-posed inverse problems in computer vision. Most approaches recover the depth at each pixel based on the focal setting which exhibits maximal sharpness. Yet, it is not obvious how to reliably estimate the sharpness level, particularly in low-textured areas. In this paper, we propose `Deep Depth From Focus (DDFF)' as the first end-to-end learning approach to this problem. One of the main challenges we face is the hunger for data of deep neural networks. In order to obtain a significant amount of focal stacks with corresponding groundtruth depth, we propose to leverage a light-field camera with a co-calibrated RGB-D sensor. This allows us to digitally create focal stacks of varying sizes. Compared to existing benchmarks our dataset is 25 times larger, enabling the use of machine learning for this inverse problem. We compare our results with state-of-the-art DFF methods and we also analyze the effect of several key deep architectural components. These experiments show that our proposed method `DDFFNet' achieves state-of-the-art performance in all scenes, reducing depth error by more than 75% compared to the classical DFF methods.

研究の動機と目的

• テクスチャが欠如した領域ではシャープネスに基づく深度推定が失敗するという、深度からフォーカス（DFF）の不適切な定式化を解決すること。
• DFFにおける深層学習のデータ不足問題を克服するため、真値深度を備えた大規模で現実世界のデータセットを構築すること。
• 従来の最適化および正則化手法に代わって、焦点スタックから直接視差マップを予測するエンドツーエンドの深層ニューラルネットワークを開発すること。
• 深層ネットワークから学習された事前知識が、複雑で現実的なシーンにおいて、手作業で設計された特徴量や変分的手法を凌駕することを示すこと。

提案手法

• 著者らは、12の屋内シーンを対象に、Lytro ILLUM光分解像カメラを用いて720枚の光分解像を撮影し、さまざまなサイズの焦点スタックをデジタルで生成可能にする。
• コアリジストされた真値深度は、キャリブレーション済みのRGB-Dセンサを用いて取得され、監視のための正確な視差マップを提供する。
• L1およびL2ノルムに基づく損失関数を用いて、焦点スタックから視差マップを予測するエンドツーエンドで訓練された、独自のオートエンコーダー型の畳み込みニューラルネットワーク（DDFFNet）を採用する。
• スキップ接続（CC3バージョン）と学習可能なアップサンプリングを備えたデコーダーを採用することで、細部や物体の境界を保持する。
• 本手法は、新規の12シーンのデータセット上で評価され、スマートフォンで撮影された焦点スタックを用いたモバイルDFFへの一般化も検証された。
• RMSE、MSE、不良ピxls率などの指標を用いて、最新のDFF手法（VDFF、PSPNet、Lytro）および光分解像からの深度推定のベースラインとDDFFNetを比較した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習は、古典的手法（変分法）に比べて、深度からフォーカスの性能を顕著に向上させることができるか？
• RQ2 RGB-Dセンサから得た真値深度を備えた大規模で現実世界のデータセットは、DFFのための深層ネットワークを訓練するのに十分か？
• RQ3 異なるエンコーダ-デコーダアーキテクチャおよびスキップ接続は、DFF予測における精度と境界保持性にどのように影響を与えるか？
• RQ4 提案手法は、解像度が限定的でノイズが多い深度センサを搭載した実際のモバイルカメラに対しても一般化可能か？

主な発見

• DDFFNetは、最新の変分的手法（VDFF）に比べて深度誤差を75％以上低減し、12シーンのデータセット上で平均RMSEが0.86mにまで低下した。
• DDFFNetのCC3バージョンは、類似した推論速度であるにもかかわらず、PSPNet や DFLF を上回り、視差誤差が最小であった。
• DDFFNetはTitan X GPU上で0.58秒で実行可能であり、VDFF（2.83秒）の4倍以上速く、LytroのCPUベースのパイプライン（25.26秒）よりも顕著に高速であった。
• 本手法はモバイルDFFに対しても良好に一般化された：スマートフォンで撮影された焦点スタックを用いたテストでは、高い精度を維持し、現実世界のノイズや解像度の制限に対しても頑健であることが示された。
• 定性的な結果における失敗事例から、DDFFNetは、従来の手法がシャープネスの変動が小さいために失敗する平坦でテクスチャのない表面に対しても、Lytro や VDFF を上回る性能を示した。
• 活性化ヒートマップから、ネットワークが深度推定に適した画像領域、特にエッジや深度変化領域に注目していることが確認された。