[論文レビュー] Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation

Rui Li, Qing Mao+5 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Vision and Imaging参考文献 48被引用数 6

ひとこと要約

本論文は、自己教師付き単眼深度推定のための意味的ガイド付き表現強化フレームワークを提案し、深度特徴学習を向上させるために意味的セグメンテーションブランチを導入する。局所的なエッジ詳細を処理する意味的ガイド付きエッジ強化モジュール（SEEM）と、グローバルな文脈を捉える意味的ガイド付きマルチレベルアテンション機構を組み合わせることで、KITTIおよびCityscapesベンチマークで最先端の性能を達成し、特に細い構造や意味的境界の推定において優れた結果を示す。

ABSTRACT

Self-supervised depth estimation has shown its great effectiveness in producing high quality depth maps given only image sequences as input. However, its performance usually drops when estimating on border areas or objects with thin structures due to the limited depth representation ability. In this paper, we address this problem by proposing a semantic-guided depth representation enhancement method, which promotes both local and global depth feature representations by leveraging rich contextual information. In stead of a single depth network as used in conventional paradigms, we propose an extra semantic segmentation branch to offer extra contextual features for depth estimation. Based on this framework, we enhance the local feature representation by sampling and feeding the point-based features that locate on the semantic edges to an individual Semantic-guided Edge Enhancement module (SEEM), which is specifically designed for promoting depth estimation on the challenging semantic borders. Then, we improve the global feature representation by proposing a semantic-guided multi-level attention mechanism, which enhances the semantic and depth features by exploring pixel-wise correlations in the multi-level depth decoding scheme. Extensive experiments validate the distinct superiority of our method in capturing highly accurate depth on the challenging image areas such as semantic category borders and thin objects. Both quantitative and qualitative experiments on KITTI show that our method outperforms the state-of-the-art methods.

研究の動機と目的

• 自己教師付き単眼深度推定が意味的境界や細い構造で正確に深度を推定する能力に制限を抱える問題に対処すること。
• 専用のエッジ強化モジュールを用いて意味的エッジ情報を利用することで、局所的な深度表現を向上させること。
• マルチレベル自己アテンション機構を用いて意味的特徴と深度特徴を統合することで、グローバルな深度表現を強化すること。
• 真の深度ラベルに依存せずに、自己教師付き設定において意味的ガイドの有効性を検証すること。
• KITTIで学習したモデルをCityscapesでそのまま適用することで、クロスデータセットシナリオにおける汎用性を示すこと。

提案手法

• 自己教師付きフレームワークにおいて、深度推定のための文脈的特徴を提供する補助的な意味的セグメンテーションブランチを導入する。
• 深度と意味的デコーダーからのマルチレベル特徴を用いて、意味的境界で点ベースの特徴をサンプリング・強化する意味的ガイド付きエッジ強化モジュール（SEEM）を提案する。
• デコーディング層全体にわたり、意味的特徴と深度特徴のピクセル単位の相関をモデル化する意味的ガイド付きマルチレベルアテンション機構を適用する。
• 訓練中に真のラベルに依存せずに、事前学習済み意味的モデルからの疑似ラベルを意味ブランチの監督に用いる。
• 複数スケールで意味的特徴と深度特徴を統合することで、局所的およびグローバルな深度表現を向上させる。
• 画像シーケンスからの幾何的整合性損失を用いて、深度監督なしにネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 意味的ガイドが、物体境界や細い構造といった困難な領域での深度推定精度を向上させ得るか？
• RQ2 専用モジュールを介して意味的エッジ情報を統合することで、局所的深度表現はどのように変化するか？
• RQ3 意味的文脈を活用することで、マルチレベルアテンション機構がどれほどグローバルな深度表現を向上させ得るか？
• RQ4 KITTIでの学習のみで、Cityscapesのような未観測データセットに十分に一般化できるか？
• RQ5 異なる事前学習済み意味的モデルを用いるなど、意味的監督の質の変化に対して、この手法はどれほど頑健か？

主な発見

• 提案手法はKITTI 2015で絶対相対誤差（Abs Rel）が0.105を達成し、ベースライン手法（Godard et al., 2019）および最先端手法を上回る性能を示した。
• KITTIにおいて、δ≤1.25の精度は0.891に達し、『motorcycle』を除くすべての意味的カテゴリで改善が見られた。
• M_{CSV}からの疑似意味ラベルで学習したモデルは、M_{CSV+K}で学習したモデルと同等の性能を示しており、意味的監督の品質に頑健であることが示された。
• Cityscapesにおいて、真のラベルおよび疑似意味ラベルの両方を用いても、高品質な深度予測を生成し、優れた一般化能力を示した。
• 定性的な結果から、物体境界に沿った深度の整合性が著しく向上し、遠方または複雑なシーンでも細い構造の回復が改善されていることが確認された。
• 意味的ガイド付きマルチレベルアテンション機構は、デコーディング層全体にわたり長距離ピクセル相関をモデル化することで、特徴表現を効果的に強化した。