[論文レビュー] Estimating Depth from Monocular Images as Classification Using Deep Fully Convolutional Residual Networks

Yuanzhouhan Cao, Zifeng Wu+1 more|arXiv (Cornell University)|May 8, 2016

Advanced Vision and Imaging参考文献 25被引用数 44

ひとこと要約

本稿では、連続的な深度値を離散的なビンに分割することで、深度予測を画素単位の分類タスクに再定式化する、新しい単眼深度推定手法を提案する。深く完全畳み込み残差ネットワークに情報利得損失を適用し、後処理として完全結合CRFを用いることで、NYUD2、KITTI、SUN RGB-Dデータセットにおいて最先端の性能を達成し、回帰ベースの手法に比べ、信頼性に配慮した予測と向上した空間的一致性を活用して優れた結果を達成した。

ABSTRACT

Depth estimation from single monocular images is a key component of scene understanding and has benefited largely from deep convolutional neural networks (CNN) recently. In this article, we take advantage of the recent deep residual networks and propose a simple yet effective approach to this problem. We formulate depth estimation as a pixel-wise classification task. Specifically, we first discretize the continuous depth values into multiple bins and label the bins according to their depth range. Then we train fully convolutional deep residual networks to predict the depth label of each pixel. Performing discrete depth label classification instead of continuous depth value regression allows us to predict a confidence in the form of probability distribution. We further apply fully-connected conditional random fields (CRF) as a post processing step to enforce local smoothness interactions, which improves the results. We evaluate our approach on both indoor and outdoor datasets and achieve state-of-the-art performance.

研究の動機と目的

• 回帰ベースの深度推定の限界、すなわち正確な深度値の予測が困難で、内在的な信頼性推定が欠如していることに対処すること。
• 深度範囲の画素単位分類にタスクを再定式化することで、深度推定のロバスト性と精度を向上させること。
• 分類の出力確率分布を活用し、情報利得損失による改善された学習と、完全結合CRFによる後処理により、予測の信頼性を自然に表現すること。
• NYUD2、KITTI、SUN RGB-Dを含む標準ベンチマークで最先端の性能を示し、データセット間での一般化性能も検証すること。

提案手法

• 屋内用データセットでは対数空間で100ビン、KITTIでは50ビンに連続的な深度値を離散化し、分類ベースの予測を可能にする。
• 各画素の深度ビンにおける確率分布を予測する、深く完全畳み込み残差ネットワーク（ResNetベース）を訓練する。
• 真値に近い予測に対して高い重みを割り当てる情報利得損失を導入し、学習の効率性と精度を向上させる。
• 空間的文脈と信頼性スコアを活用して予測を精緻化するため、完全結合条件付きランダムフィールド（CRF）を後処理に適用する。
• 分類の出力確率分布を活用して、モンテカルロドロップアウトのような複雑な手法を避けることで、自然に予測の信頼性を表現する。
• 現実世界のシーンにおける深度値の長尾分布に対応するため、対数空間でのビン分割を採用する。

実験結果

リサーチクエスチョン

• RQ1 回帰ではなく分類タスクに単眼深度推定を再定式化することで、性能と信頼性推定が向上するか？
• RQ2 近接する深度予測に高い重みを割り当てる情報利得損失を用いることで、モデルの学習と精度にどのような影響を与えるか？
• RQ3 完全結合CRFが空間的文脈と信頼性スコアを活用することで、どの程度深度推定の性能を向上させられるか？
• RQ4 提案手法の分類ベースアプローチは、NYUD2やSUN RGB-Dのような異なるデータセット間で十分に一般化できるか？
• RQ5 定量的指標と視覚的品質の両面で、最先端の回帰ベースのモデルと比較して、本手法はどのように差をつけるか？

主な発見

• NYUD2データセットでは、平均絶対誤差（abs rel）が0.127、log10が0.127、RMSが0.839を達成し、先行研究の最先端手法を上回った。
• KITTIデータセットでは、delta<1.25が88.2%、log10が0.127を達成し、従来のアプローチを著しく上回った。
• 情報利得損失と完全結合CRFの組み合わせにより、特に信頼性が低い領域で顕著な性能向上が見られた。
• データセット間評価では、NYUD2で学習したモデルがSUN RGB-Dデータセットで56.3%の精度と0.256のrel誤差を達成し、良好な一般化性能を示した。
• 定性的な結果では、CRF後処理を施した後、境界がより明確で一貫性のある予測が得られ、ベースライン手法に比べ顕著に改善された。