[論文レビュー] Structure-Attentioned Memory Network for Monocular Depth Estimation

Jing Zhu, Yunxiao Shi+4 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Vision and Imaging参考文献 33被引用数 4

ひとこと要約

本稿では、単眼深度推定のための構造に配慮したメモリネットワーク（SAMN）を提案する。本手法は、構造に配慮したメモリ（SOM）モジュールを導入し、記憶可能なフィルターバンク（MBF）とアテンションガイドドコントローラー（AGC）を用いて、構造に敏感な画像-深度残差パターンを学習・記憶することで、適応的で構造に特化した特徴の整合化を実現する。本手法は、ピxls単位および構造的レベルでのクロスモダリティドメインギャップを効果的に低減することで、KITTIおよびNYU Depth V2ベンチマークで最先端の性能を達成する。

ABSTRACT

Monocular depth estimation is a challenging task that aims to predict a corresponding depth map from a given single RGB image. Recent deep learning models have been proposed to predict the depth from the image by learning the alignment of deep features between the RGB image and the depth domains. In this paper, we present a novel approach, named Structure-Attentioned Memory Network, to more effectively transfer domain features for monocular depth estimation by taking into account the common structure regularities (e.g., repetitive structure patterns, planar surfaces, symmetries) in domain adaptation. To this end, we introduce a new Structure-Oriented Memory (SOM) module to learn and memorize the structure-specific information between RGB image domain and the depth domain. More specifically, in the SOM module, we develop a Memorable Bank of Filters (MBF) unit to learn a set of filters that memorize the structure-aware image-depth residual pattern, and also an Attention Guided Controller (AGC) unit to control the filter selection in the MBF given image features queries. Given the query image feature, the trained SOM module is able to adaptively select the best customized filters for cross-domain feature transferring with an optimal structural disparity between image and depth. In summary, we focus on addressing this structure-specific domain adaption challenge by proposing a novel end-to-end multi-scale memorable network for monocular depth estimation. The experiments show that our proposed model demonstrates the superior performance compared to the existing supervised monocular depth estimation approaches on the challenging KITTI and NYU Depth V2 benchmarks.

研究の動機と目的

• RGB画像と深度マップ間のクロスモダリティ分散を低減することで、単眼深度推定の不適切な性質に対処すること。
• 平面面、対称性、繰り返しパターンなどの構造的規則性を明示的にモデル化することで、特徴レベルのドメイン適応を向上させること。
• 複雑な特徴の整合化を学習可能なメモリ機構に移譲することで、画像エンコーダーの学習負荷を軽減すること。
• 構造に配慮したクロスドメイン特徴転送を組み込んだエンド・ツー・エンド学習により、優れた深度予測性能を達成すること。

提案手法

• 本手法は、クロスモダリティ特徴の整合化のための新規な構造に配慮したメモリ（SOM）モジュールを備えたエンコーダ-デコーダ回帰ネットワークを採用する。
• SOMモジュールには、構造に配慮した画像-深度残差パターンを学習・保存する記憶可能なフィルターバンク（MBF）が含まれる。
• アテンションガイドドコントローラー（AGC）は、画像エンコーダーからのクエリ特徴に基づいて、MBF内の最も関連性の高いフィルタを動的に選択する。
• ピクセルおよび構造的レベルでの画像特徴と深度特徴の分布ギャップを最小化するため、クロスモダリティ残差複雑度損失が使用される。
• ネットワークはエンド・ツー・エンドで学習され、SOMモジュールは特徴レベルで表現転送を強化するために機能する。
• エンコーダーからのマルチスケール特徴は、細部回復を向上させるために特徴ピラミッドネットワーク（FPN）デコーダを介して統合される。

実験結果

リサーチクエスチョン

• RQ1 記憶ベースのメカニズムが、構造的規則性を捉えることで、単眼深度推定におけるクロスドメイン特徴の整合化を改善できるか？
• RQ2 構造に特化した画像-深度残差パターンを学習することは、直接的な特徴整合化よりも優れた深度予測をもたらすか？
• RQ3 SOMモジュールにおけるアテンション駆動型フィルタ選択は、固定または非構造的整合化手法と比較して性能にどのように影響を与えるか？
• RQ4 提案手法は、深度推定精度を向上させつつ、画像エンコーダーの学習負荷をどの程度軽減できるか？

主な発見

• 提案手法はKITTIベンチマークで最先端の性能を達成し、既存の教師あり単眼深度推定手法を上回る。
• NYU Depth V2データセットでは、モデルがδ₁精度0.990を達成し、ベースラインおよび直接的整合化手法と比較して顕著な改善を示す。
• アブレーションスタディの結果、SOMモジュールはRMSEを0.136、log₁₀誤差を0.604にまで低減した。これは、FPNデコーダを搭載したベースライン（RMSE 0.229、log₁₀誤差 0.803）と比較しての結果である。
• SOMモジュールの追加により、NYU Depth V2における直接的整合化ベースラインと比較してδ₁精度が15.5%相対的に向上した。
• ピラミッドデコーダ（FPN）は、特にエッジおよび輪郭回復において、単純な対称デコーダを上回り、より高いδ₁スコアを示した。
• アブレーションの結果、直接的特徴整合化よりもSOMモジュールがはるかに効果的であることが確認され、ベースラインと比較して最小限の改善にとどまることが示された。