[論文レビュー] Structure-Aware Residual Pyramid Network for Monocular Depth Estimation

Xiaotian Chen, Xuejin Chen+1 more|arXiv (Cornell University)|Jul 13, 2019

Advanced Vision and Imaging参考文献 11被引用数 12

ひとこと要約

本稿では、粗くから細かくまでの復元戦略を用いて、マルチスケールのシーン構造を明示的にモデル化する構造に配慮した残差ピラミッドネットワーク（SARPN）を、単眼深度推定のために提案する。残差ピラミッドデコーダー（RPD）と残差リファインメントモジュール（RRM）、および自己適応的密度特徴統合（ADFF）モジュールを統合することで、SARPNは複数スケールで段階的に深度マップを精錬し、NYU-Depth v2で最先端の性能を達成した。特に、大規模な平面領域と細かいオブジェクトのディテールの両方で精度が向上した。

ABSTRACT

Monocular depth estimation is an essential task for scene understanding. The underlying structure of objects and stuff in a complex scene is critical to recovering accurate and visually-pleasing depth maps. Global structure conveys scene layouts, while local structure reflects shape details. Recently developed approaches based on convolutional neural networks (CNNs) significantly improve the performance of depth estimation. However, few of them take into account multi-scale structures in complex scenes. In this paper, we propose a Structure-Aware Residual Pyramid Network (SARPN) to exploit multi-scale structures for accurate depth prediction. We propose a Residual Pyramid Decoder (RPD) which expresses global scene structure in upper levels to represent layouts, and local structure in lower levels to present shape details. At each level, we propose Residual Refinement Modules (RRM) that predict residual maps to progressively add finer structures on the coarser structure predicted at the upper level. In order to fully exploit multi-scale image features, an Adaptive Dense Feature Fusion (ADFF) module, which adaptively fuses effective features from all scales for inferring structures of each scale, is introduced. Experiment results on the challenging NYU-Depth v2 dataset demonstrate that our proposed approach achieves state-of-the-art performance in both qualitative and quantitative evaluation. The code is available at https://github.com/Xt-Chen/SARPN.

研究の動機と目的

• 単眼深度推定において、グローバルなシーンレイアウトとローカルな幾何的ディテールの両方を保持する課題に対処すること。
• 深層学習フレームワーク内で、大規模な平面領域のためのグローバルな構造とオブジェクトディテールのためのローカルな構造という階層的なシーン構造を明示的にモデル化すること。
• 複数スケールでの残差マップを用いて、粗い深度マップを段階的に精錬することで、深度予測の精度を向上させること。
• 各精錬レベルに対して関連する特徴を適応的に選択することで、スケール間の特徴統合を強化すること。
• NYU-Depth v2ベンチマークにおいて、定量的指標と視覚的品質の両面で最先端の性能を達成すること。

提案手法

• 複数スケールでの深度マップ予測を可能にする残差ピラミッドデコーダー（RPD）を設計し、上位のレベルはグローバルなシーン構造を表し、下位のレベルはローカルな形状ディテールを捉える。
• 各スケールに配置された残差リファインメントモジュール（RRM）は、上位レベルからの粗い予測に上書きして、より細かいディテールを段階的に追加する残差深度マップを予測する。
• 自己適応的密度特徴統合（ADFF）モジュールは、エンコーダーからのマルチスケール特徴を動的に統合し、各スケールでの残差予測をガイドすることで、特徴の利用効率を向上させる。
• バックボーンとしてSENetに基づく特徴抽出器を用いた、スキップ接続を備えたエンコーダ-デコーダー構造を採用する。
• 損失関数には、標準的な深度回帰損失（例：RMSE、REL、log10）を組み合わせ、グローバルレイアウトとローカルディテールの両方の精度を最適化する。
• モデルはNYU-Depth v2でエンドツーエンドに学習され、NYU-Depth v2および汎化性評価用データセット（ScanNet、SUN-RGBD）で評価される。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、マルチスケールのシーン構造を効果的にモデル化することで、単眼深度推定を向上させることができるか？
• RQ2 複数スケールにわたる残差リファインメントは、大規模な平面領域と細かいオブジェクトディテールの両方の回復をどのように向上させるか？
• RQ3 複数スケールにわたる自己適応的特徴統合は、深度予測性能をどの程度向上させるか？
• RQ4 シーン構造を明示的にモデル化することで、多様な現実世界のシーンへの汎化性能が向上するか？
• RQ5 提案手法は、幾何的構造とエッジディテールの両方を保持する点で、最先端の手法と比較してどのように優れているか？

主な発見

• NYU-Depth v2データセットにおいて、SARPNは相対誤差（REL）が0.554、平均二乗誤差（RMS）が0.749、log10誤差が0.630を達成し、以前の最先端手法を上回った。
• エッジピクセル精度のF1スコアは、すべての閾値でベースラインを上回り、細かい構造的ディテールの保持が優れていることを示した。
• ベースラインにRPDモジュールを追加した際、REL誤差は6.5%低下し、RMSは3.5%低下した。これは、そのモジュールが顕著な影響を及ぼしていることを示している。
• さらにADFFモジュールを統合したことで、RELは3.5%低下し、RMSは2.7%低下した。これにより、特徴統合におけるその有効性が確認された。
• モデルは、ScanNet や SUN-RGBD といった未学習のデータセットに対しても良好な汎化性能を示し、大規模な平面領域とオブジェクトディテールの両方を的確に回復できた。
• 予測された深度マップから再構築した3次元点群は、SARPNが大きな壁の平坦性を保持し、他の手法と比較して歪みを低減していることを示した。