[論文レビュー] Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation

Jiaxing Yan, Hong Zhao+2 more|arXiv (Cornell University)|Dec 24, 2021

Advanced Vision and Imaging被引用数 10

ひとこと要約

本論文では、チャネルワイドなアテンションメカニズムを用いてシーン構造の認識と局所的ディテール回復を向上させる自己教師付きモノクローラル深度推定ネットワーク、CADepth-Netを提案する。構造認識モジュールと自己アテンションを用いた長距離コンテキストモデリング、およびチャネルアテンションを用いた特徴再キャリブレーションによるディテール強調モジュールを統合することで、KITTIおよびMake3Dベンチマークで最先端の性能を達成し、より鋭い深度予測とぼやけの低減を実現した。

ABSTRACT

Self-supervised learning has shown very promising results for monocular depth estimation. Scene structure and local details both are significant clues for high-quality depth estimation. Recent works suffer from the lack of explicit modeling of scene structure and proper handling of details information, which leads to a performance bottleneck and blurry artefacts in predicted results. In this paper, we propose the Channel-wise Attention-based Depth Estimation Network (CADepth-Net) with two effective contributions: 1) The structure perception module employs the self-attention mechanism to capture long-range dependencies and aggregates discriminative features in channel dimensions, explicitly enhances the perception of scene structure, obtains the better scene understanding and rich feature representation. 2) The detail emphasis module re-calibrates channel-wise feature maps and selectively emphasizes the informative features, aiming to highlight crucial local details information and fuse different level features more efficiently, resulting in more precise and sharper depth prediction. Furthermore, the extensive experiments validate the effectiveness of our method and show that our model achieves the state-of-the-art results on the KITTI benchmark and Make3D datasets.

研究の動機と目的

• 既存の自己教師付きモノクローラル深度推定手法が3次元シーンジオメトリを明示的にモデリングする点と、細粒度の局所的ディテールを保持する点での限界を解消すること。
• グローバルなシーン理解と正確な境界位置特定の両方を向上させることで、深度予測の品質を向上させること。
• 高価なLiDARによる真値を必要とせず、軽量でありながら効果的なアーキテクチャを構築すること。
• チャネルワイドなアテンションメカニズムが長距離依存関係を捉え、スケールにわたり情報量の多い特徴を強調する有効性を検証すること。

提案手法

• チャネル次元にわたる自己アテンションを適用して長距離コンテキスト特徴を統合し、シーン構造表現を強化する構造認識モジュールを導入する。
• チャネルアテンションを用いて特徴マップの再キャリブレーションを行い、特にオブジェクト境界をエンコードするチャンネルを効果的に強調するディテール強調モジュールを採用する。
• 複数のデコーダーステージにディテール強調モジュールを適用し、段階的に空間的ディテールを精緻化し、解像度回復を向上させる。
• チャネルワイドなアテンションにより、高レベル特徴と低レベル特徴の統合をより効率的に行うマルチスケール特徴統合戦略を採用する。
• 微分可能なビュー合成を通じて、モノクローラル動画またはステレオ画像ペアを自己教師信号として活用し、真値深度の必要性を回避する。
• 深度監督損失とフォトメトリック整合性損失の組み合わせを用いて、ネットワークをエンドツーエンドで訓練する。

Figure 1: Depth prediction from a single image. Our proposed CADepth-Net produces more precise and sharper depth estimation, especially for thin structures e.g. road signs and pedestrians.

実験結果

リサーチクエスチョン

• RQ1 チャネル次元における自己アテンションメカニズムは、モノクローラル深度推定におけるより良いシーン構造認識のための長距離依存関係モデリングを改善できるか？
• RQ2 アテンションによるチャネルワイドな特徴再キャリブレーションは、深度予測における局所的ディテールの保持を向上させ、ぼやけを低減できるか？
• RQ3 構造認識モジュールとディテール強調モジュールの統合は、異なるバックボーンアーキテクチャにおいて一貫した性能向上をもたらすか？
• RQ4 提案手法は、アノテートされた深度監督を必要とせず、KITTIやMake3Dといった標準ベンチマークで最先端の結果を達成できるか？

主な発見

• ResNet50を用いて、KITTIベンチマークで新しい最先端の結果を達成し、平均絶対相対誤差（Abs Rel）が0.105、log10誤差が0.159を記録した。
• 構造認識モジュールは、ベースラインと比較してδ<1.25指標を0.003向上させたが、計算コストは最小限で追加パラメータも一切追加していない。
• ディテール強調モジュールは、KITTIにおけるRMSE誤差をベースラインと比較して0.351低減し、深度不連続部における鋭さの向上が顕著に見られた。
• Make3Dデータセットでは、Abs Relが0.312、log10誤差が0.159を達成し、以前の自己教師付き手法を上回った。
• アブレーションスタディの結果、両モジュールが独立してかつ相乗的に寄与しており、フルモデルでは58.34Mパラメータ、RTX3090 GPU上での推論時間が28.41msを記録した。
• 可視化結果から、ディテール強調モジュールがオブジェクトエッジをエンコードする低レベル特徴に注目していることが確認され、境界精度の向上に寄与していることが裏付けられた。

Figure 2: Overview of Framework. Our proposed CADepth-Net is a fully convolutional U-Net architecture. We first use a ResNet encoder to extract semantic features and input them to the Structure Perception Module . We perform the matrix multiplication between input features and attention maps to gene