[論文レビュー] Bidirectional Attention Network for Monocular Depth Estimation

Shubhra Aich, Jean Marie Uwabeza Vianney+3 more|arXiv (Cornell University)|Sep 1, 2020

Advanced Vision and Imaging参考文献 39被引用数 9

ひとこと要約

本論文は、バックボーンネットワークの後に適用される双方向アテンションモジュールを用いて局所的およびグローバルなコンテキストを統合することで、特徴表現を向上させる軽量でエンドツーエンドのフレームワーク、Bidirectional Attention Network (BANet) を提案する。深度から空間（D2S）変換とフル解像度での段階的アテンション精錬を活用することで、計算複雑性とパラメータ数を削減しながら、KITTI および DIODE データセットで最先端の性能を達成した。

ABSTRACT

In this paper, we propose a Bidirectional Attention Network (BANet), an end-to-end framework for monocular depth estimation (MDE) that addresses the limitation of effectively integrating local and global information in convolutional neural networks. The structure of this mechanism derives from a strong conceptual foundation of neural machine translation, and presents a light-weight mechanism for adaptive control of computation similar to the dynamic nature of recurrent neural networks. We introduce bidirectional attention modules that utilize the feed-forward feature maps and incorporate the global context to filter out ambiguity. Extensive experiments reveal the high degree of capability of this bidirectional attention model over feed-forward baselines and other state-of-the-art methods for monocular depth estimation on two challenging datasets -- KITTI and DIODE. We show that our proposed approach either outperforms or performs at least on a par with the state-of-the-art monocular depth estimation methods with less memory and computational complexity.

研究の動機と目的

• 既存の CNN を用いたモノクローラル深度推定モデルが、局所的およびグローバルなコンテキストを効果的に統合できないという限界を解決すること。
• 標準的なバックボーンアーキテクチャにおける空間のダウンサンプリングが引き起こす表現の曖昧性を克服すること。
• バックボーンの後段でフル空間解像度で動作する軽量で効率的なアテンションメカニズムを構築すること。
• 特に細い幹や明るい／暗い背景のような困難な領域における深度推定の精度を向上させることで、モデルの複雑性を増さずに実現すること。
• ニューラル機械翻訳にインspiredされた双方向アテンションが、メモリと FLOPs を低減しつつ、SOTA メソッドと同等またはそれを上回る性能を達成できることを示すこと。

提案手法

• バックボーンの各段階からの特徴マップに対して、深度から空間（D2S）変換を適用した後、双方向アテンション機構を用いてフル空間解像度を回復させる。
• 前方および後方アテンションモジュールを適用し、以前の段階と後の段階の特徴を用いて現在の段階の特徴を精錬することで、双方向のコンテキスト集約を実現する。
• 各段階で、D2S 変換後の単一チャネル特徴マップにシーンレベルのコンテキストを統合することで、曖昧な領域での信頼性を向上させるグローバルコンテキスト集約を導入する。
• 高次元特徴マップではなく、単一チャネル特徴マップ（H×W×1）にアテンションを適用することで軽量な設計を実現し、FLOPs とパラメータ数を削減する。
• アテンション重みを段階間で計算するマルチステージ精錬パイプラインを採用することで、ネットワークが顕著な深度の手がかりに動的に注目できるようにする。
• 自然言語処理における双方向 RNN の概念をコンピュータビジョンに適応し、モノクローラル深度推定のような密な回帰タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップからの過去および未来のコンテキストを統合することで、双方向アテンション機構がモノクローラル深度推定を改善できるか？
• RQ2 バックボーンの後段でフル解像度でアテンションを適用することで、アテンションをバックボーン内部やダウンサンプリング済みの特徴に適用する場合よりも優れた性能が得られるか？
• RQ3 軽量なアテンション機構が、計算コストとパラメータ数を削減しながらも、SOTA モデルと同等またはそれを上回る性能を達成できるか？
• RQ4 グローバルコンテキスト集約は、細い構造物や高コントラスト背景のような困難な領域での性能にどのように影響するか？
• RQ5 ネットワークの各段階において、前方アテンションと後方アテンションの相対的な寄与度は何か？

主な発見

• BANet-Full（完全な双方向バージョン）は、KITTI および DIODE データセットの両方で最先端の性能を達成し、AbsRel、SqRel、RMSE といった主要指標で SOTA メソッドを上回るか同等の性能を示した。
• BANet-Backward は BANet-Forward を上回る性能を示しており、将来のコンテキストを用いて初期段階の特徴を精錬することが、逆の場合よりも効果的であることを示している。
• アテンションを含まないヴァニラモデルは、DORN や DenseDepth よりも優れた性能を示しており、D2S を用いたフル解像度予測が、マルチスケールアップサンプリングよりも効果的であることを示唆している。
• BANet-Markov（直前の段階のみを用いる）は、完全な BANet に比べて性能が劣っており、遠くのコンテキストを無視することで性能が制限されることを示している。
• グローバルコンテキスト集約は、繊細な領域（例：木の幹、窓枠）における予測品質を顕著に向上させ、ピクセルカバレッジが低いにもかかわらず誤検出（偽陰性）を減少させた。
• BANet は近年の SOTA モデルと比較して、より少ないパラメータ数と低い FLOPs で優れた性能を達成しており、精度を損なわず高い効率性を実現した。