[論文レビュー] Deep Convolutional Neural Fields for Depth Estimation from a Single Image

Fayao Liu, Chunhua Shen+1 more|arXiv (Cornell University)|Nov 24, 2014

Advanced Vision and Imaging参考文献 15被引用数 14

ひとこと要約

本論文は、単一画像深度推定のため、統一された深層畳み込みニューラルネットワーク（CNN）フレームワークを用いて、連続的条件付きランダムフィールド（CRF）の単一およびペairワイズのポテンシャルを同時に学習する深層畳み込みニューラルフィールドモデルを提案する。正確な対数尤度最適化と閉形式のMAP推論を可能にすることで、幾何的事前知識や追加アノテーションを必要とせず、屋内および屋外のデータセットで最先端の性能を達成する。

ABSTRACT

We consider the problem of depth estimation from a single monocular image in this work. It is a challenging task as no reliable depth cues are available, e.g., stereo correspondences, motions, etc. Previous efforts have been focusing on exploiting geometric priors or additional sources of information, with all using hand-crafted features. Recently, there is mounting evidence that features from deep convolutional neural networks (CNN) are setting new records for various vision applications. On the other hand, considering the continuous characteristic of the depth values, depth estimations can be naturally formulated into a continuous conditional random field (CRF) learning problem. Therefore, we in this paper present a deep convolutional neural field model for estimating depths from a single image, aiming to jointly explore the capacity of deep CNN and continuous CRF. Specifically, we propose a deep structured learning scheme which learns the unary and pairwise potentials of continuous CRF in a unified deep CNN framework. The proposed method can be used for depth estimations of general scenes with no geometric priors nor any extra information injected. In our case, the integral of the partition function can be analytically calculated, thus we can exactly solve the log-likelihood optimization. Moreover, solving the MAP problem for predicting depths of a new image is highly efficient as closed-form solutions exist. We experimentally demonstrate that the proposed method outperforms state-of-the-art depth estimation methods on both indoor and outdoor scene datasets.

研究の動機と目的

• ステレオやモーション、幾何的事前知識に依存せずに、単一画像深度推定の不適切な問題を解決すること。
• 深層畳み込みニューラルネットワーク特徴量と連続的CRFを統合し、構造的回帰を実現すること。
• CRFモデルにおける正規化定数の解析的計算により、対数尤度の正確な最適化を可能にすること。
• 閉形式解を用いた効率的な最大後確信度（MAP）推論により、深度予測の高速化を実現すること。
• 手作業で設計された特徴量や外部アノテーションを必要とせず、多様なシーンデータセットで優れた性能を示すこと。

提案手法

• 本手法は、深度値を連続的な確率変数としてモデル化することで、深度推定を連続的CRF学習問題として定式化する。
• バックプロパゲーションを用いて、深層CNNフレームワーク内で単一およびペアワイズのポテンシャルを統合的に学習する。
• ポテンシャル関数がガウス型をとることで、CRFの正規化定数が解析的に計算可能となり、正確な対数尤度最適化が可能になる。
• スーパーピクセルベースの特徴表現を用いてCRF内の空間的関係を定義し、事前学習済みのCNNから特徴量を抽出する。
• 行列微分法を用いて、単一およびペアワイズのポテンシャルパラメータの勾配を正確に計算し、エンドツーエンドの学習を可能にする。
• 新しい画像の深度予測は、MAP推論問題の閉形式解を用いて実行され、高い効率性が保証される。

実験結果

リサーチクエスチョン

• RQ1 深層CNNを連続的CRFと効果的に組み合わせることで、単一画像深度推定の性能向上が図れるか？
• RQ2 連続的CRFフレームワークにおける正確な対数尤度最適化は、近似推論手法に比べて性能向上をもたらすか？
• RQ3 深層構造的モデルにおいて、閉形式のMAP推論を達成できるか？これにより、高速かつ高精度な深度予測が可能になるか？
• RQ4 幾何的事前知識や追加アノテーションを一切使用せずに、提案手法が最先端の手法を上回る性能を示せるか？
• RQ5 スーパーピクセルの数が、本フレームワークにおける精度と学習時間のトレードオフにどのように影響するか？

主な発見

• 提案手法は、屋内および屋外の深度推定ベンチマークで、先行研究を上回る最先端の性能を達成した。
• 従来の手法よりも低い平均二乗誤差（RMS）を達成しており、スーパーピクセル数が増加するにつれて性能が向上した。
• 学習時間はスーパーピクセル数の増加に伴い増加するが、それと同時に精度も向上するため、精度と効率の調整可能なトレードオフが成立する。
• MAP推論の閉形式解のおかげで、高速な深度予測が可能となり、実世界の応用において実用的であることが示された。
• 正規化定数の解析的計算により、近似誤差を回避できるため、正確な対数尤度最適化が可能となった。
• シーン固有の事前知識やアノテートされたセマンティックラベルを必要とせず、多様なシーンに良好に一般化する能力を示した。