[論文レビュー] Deep Robust Single Image Depth Estimation Neural Network Using Scene Understanding

Haoyu Ren, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Vision and Imaging参考文献 25被引用数 26

ひとこと要約

本論文は、シーン理解を用いて画像を低深度範囲または高深度範囲に分類し、その後ドメイン固有の深度推定ネットワークを適用することで、正確な推定を実現する2段階のロバストな単一画像深度推定フレームワークを提案する。マルチタスクで深度分離畳み込みを用いたネットワーク（DS-SIDENet）とシーン分類または粗い深度推定を組み合わせることで、NYU、ScanNet、KITTIで最先端の性能を達成し、2018年ロバストビジョンチャレンジで1位を獲得した。

ABSTRACT

Single image depth estimation (SIDE) plays a crucial role in 3D computer vision. In this paper, we propose a two-stage robust SIDE framework that can perform blind SIDE for both indoor and outdoor scenes. At the first stage, the scene understanding module will categorize the RGB image into different depth-ranges. We introduce two different scene understanding modules based on scene classification and coarse depth estimation respectively. At the second stage, SIDE networks trained by the images of specific depth-range are applied to obtain an accurate depth map. In order to improve the accuracy, we further design a multi-task encoding-decoding SIDE network DS-SIDENet based on depthwise separable convolutions. DS-SIDENet is optimized to minimize both depth classification and depth regression losses. This improves the accuracy compared to a single-task SIDE network. Experimental results demonstrate that training DS-SIDENet on an individual dataset such as NYU achieves competitive performance to the state-of-art methods with much better efficiency. Ours proposed robust SIDE framework also shows good performance for the ScanNet indoor images and KITTI outdoor images simultaneously. It achieves the top performance compared to the Robust Vision Challenge (ROB) 2018 submissions.

研究の動機と目的

• NYU、ScanNet、KITTIなどの孤立したデータセットで訓練された単一画像深度推定（SIDE）モデルにおける一般化の欠如に対処する。
• スライディングウィンドウ推論を必要とする大型バックボーンと全結合層を備えた深層畳み込みニューラルネットワーク（CNN）の非効率性と不柔軟性を克服する。
• 事前にシーンタイプを知らなくても、屋内および屋外の両方のシーンを処理できる、盲目的でドメインに依存しないSIDEフレームワークを開発する。
• 深度分離畳み込みと深度分類／回帰の共同最適化を用いたマルチタスクで完全畳み込みネットワークを設計することで、精度と効率を向上させる。
• 特に2018年ロバストビジョンチャレンジにおいて、多様なデータセットにわたるロバストな性能を実証する。

提案手法

• 2段階フレームワークを実装する：まず、シーン理解モジュールが、シーン分類または粗い深度推定を用いて入力画像を低または高深度範囲に分類する。
• 訓練データの低および高深度範囲サブセット上で別々に深層学習ネットワーク（DS-SIDENet）を訓練し、それぞれの深度領域に特化させる。
• DS-SIDENetを、計算コストを低減しつつ特徴解像度を保持する深度分離畳み込みを用いたエンコーディング・デコーディングネットワークとして設計する。
• ピクセル単位の量子化深度ラベルを用いた深度分類と連続的深度マップを用いた深度回帰の両方を組み合わせたマルチタスク損失関数を用いてDS-SIDENetを訓練し、同時に最適化する。
• 推論時には、効率性を維持するため深度分類出力のみを用いるが、共同学習によって特徴の区別能を向上させる。
• 特に高深度範囲のシナリオにおいて特徴の集約を強化するために、デコーディングパスに空間集約モジュール（SAM）と拡張畳み込み（SHG）を導入する。

実験結果

リサーチクエスチョン

• RQ1 シーン理解を用いた2段階フレームワークは、多様な屋内および屋外データセットにおける単一画像深度推定の一般化を向上させることができるか？
• RQ2 深度分類と回帰を共同で最適化するマルチタスク学習は、単一タスク学習と比較してネットワーク性能をどのように向上させるか？
• RQ3 深度分離畳み込みを用いることで、深度推定ネットワークにおけるモデルの効率性と精度にどのような影響を与えるか？
• RQ4 粗い深度推定に基づくシーン理解モジュールの性能は、深度しきい値の選択にどれほど敏感か？
• RQ5 盲目的なSIDEシナリオにおいて、シーン分類に基づくシーン理解は、しきい値選択に敏感な粗い深度推定に比べて、より優れた現実世界への一般化を実現できるか？

主な発見

• 提案された2段階のロバストなSIDEフレームワークは、2018年ロバストビジョンチャレンジにおいて、他の最先端手法を上回り、全参加者の中で1位を達成した。
• シーン分類を用いたシーン理解は、しきい値選択に敏感な粗い深度推定よりも、現実世界のシナリオで優れた一般化性能を示した。
• DS-SIDENetモデルは、NYU-Depth-v2データセットにおいて、顕著に向上した効率性を伴いながらも、最先端の結果を達成した。
• 第3のデコーディングブロックにSAMモジュールを追加すると、KITTIの検証性能が向上した（iRMSE: 7.83、REL: 0.066）が、以降のブロックに追加すると恩恵が得られず、効率性が低下した。
• 10mのしきい値を用いた場合、KITTIとScanNetの混合データで低深度範囲のDS-SIDENetを再訓練すると、ドメインシフトのためScanNetの精度が低下した（RMSE: 0.366）ことから、ドメイン固有の訓練の重要性が確認された。
• 本手法は、データセット間で一貫した性能を維持した：ScanNetのテストセットではRMSE/RELが0.287/0.138、KITTIの検証セットではiRMSE/RELが7.83/0.066（最良設定時）であった。