[論文レビュー] Revisiting Single Image Depth Estimation: Toward Higher Resolution Maps with Accurate Object Boundaries

Junjie Hu, Mete Özay+2 more|arXiv (Cornell University)|Mar 23, 2018

Advanced Vision and Imaging参考文献 56被引用数 20

ひとこと要約

本論文は、マルチスケール特徴融合とマルチコンponent損失関数を備えた新しいCNNアーキテクチャを提案し、単一画像深度推定の精度を向上させ、より高解像度の深度マップと鋭い物体境界を実現した。エンコーダ・デコーダ特徴をリファインメントモジュールと統合し、深度、勾配、表面法線の損失関数で訓練することで、特に細かいディテールや物体エッジにおいて最先端の手法を上回る精度を達成した。

ABSTRACT

This paper considers the problem of single image depth estimation. The employment of convolutional neural networks (CNNs) has recently brought about significant advancements in the research of this problem. However, most existing methods suffer from loss of spatial resolution in the estimated depth maps; a typical symptom is distorted and blurry reconstruction of object boundaries. In this paper, toward more accurate estimation with a focus on depth maps with higher spatial resolution, we propose two improvements to existing approaches. One is about the strategy of fusing features extracted at different scales, for which we propose an improved network architecture consisting of four modules: an encoder, decoder, multi-scale feature fusion module, and refinement module. The other is about loss functions for measuring inference errors used in training. We show that three loss terms, which measure errors in depth, gradients and surface normals, respectively, contribute to improvement of accuracy in an complementary fashion. Experimental results show that these two improvements enable to attain higher accuracy than the current state-of-the-arts, which is given by finer resolution reconstruction, for example, with small objects and object boundaries.

研究の動機と目的

• 既存の単一画像深度推定手法における空間的解像度の低下と物体境界のぼやけを解決すること。
• CNNアーキテクチャ内で複数スケールの特徴統合を強化することで、深度マップの品質を向上させること。
• 特に深度マップにおける急峻な不連続性を捉えるのに適した、エッジおよび境界の正確性を向上させる損失関数の開発。
• 後処理を伴わないエンドツーエンドの訓練を実現し、小さな物体や物体の輪郭のより精細な再構成を可能にすること。

提案手法

• 4つのモジュールからなるネットワークを導入：エンコーダ（マルチスケール特徴抽出用）、デコーダ（特徴のアップスケーリング用）、マルチスケール特徴統合（MFF）モジュール（異なる解像度の特徴を統合）、リファインメントモジュール（最終予測用）。
• アッププロージェクション層を用いたスキップ接続を採用し、空間的ディテールを保持するとともに、高解像度の特徴統合を可能にする。
• 深度損失、勾配損失、表面法線損失を組み合わせた統合損失関数を採用し、エッジおよび境界の再構成を向上させる。
• 各畳み込み層の後でバッチ正規化とReLU活性化関数を適用するが、最終層を除く。
• 標準的なバックプロパゲーションを用いて、後処理を伴わないエンドツーエンドの訓練を実行する。
• 柔軟性と性能評価のため、エンコーダにさまざまなバックボーンネットワーク（ResNet、DenseNet、SENet）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続を用いたマルチスケール特徴統合は、予測された深度マップの空間的解像度と境界の正確性を向上させることができるか？
• RQ2 深度損失に加えて勾配損失と表面法線損失を組み合わせることで、深度損失単体よりも一般化性能とエッジ保持性が向上するか？
• RQ3 従来の深度ベースの指標と比較して、提案された損失関数はエッジ再構成品質の評価においてどのように優れているか？
• RQ4 提案されたアーキテクチャは、NYU-Depth V2などのベンチマークデータセットにおいて、最先端の手法をどの程度上回るか？

主な発見

• 提案手法は、全損失関数を用いた場合、NYU-Depth V2データセットで最先端の性能を達成し、RMS誤差が0.555、δ<1.25スコアが0.843となった。
• 勾配損失と表面法線損失の追加によりエッジの正確性が顕著に向上し、F1スコアは深度のみのケース（0.525）から全損失ケース（0.548）に上昇した。
• 可視化比較では、本手法がボトルやランプシェードなどの小さな構造物をより鋭い物体境界と併せて良好に回復していることが示された。
• アブレーションスタディにより、全損失関数がステップエッジや細かいディテールの再構成において最も正確な深度マップを生成することが確認された。
• 定量的指標と視覚的品質の両面で、従来の最先端手法を上回った。特にエッジ再構成と小物検出において顕著な優位性を示した。
• 提案されたエッジ正確性指標は視覚的品質と強く相関しており、深度マップの忠実度評価における有効性が裏付けられた。