[論文レビュー] Attention Attention Everywhere: Monocular Depth Prediction with Skip Attention

Ashutosh Agarwal, Chetan Arora|arXiv (Cornell University)|Oct 17, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

この論文では、ピクセルクエリの精錬問題として深度推定を定式化する新しいモノクローラ深度推定フレームワーク、PixelFormerを提案する。スキップアテンションモジュール（SAM）を用いて、高分解能エンコーダ特徴と長距離デコーダ特徴を統合する。粗いレベルの特徴からクエリを初期化し、ウィンドウベースのクロスアテンションによりクエリを精錬することで、深度境界の正確性と一般化性能が向上し、NYUv2およびKITTIでそれぞれ5.3%および3.9%の相対誤差改善を達成し、最先端性能を実現した。

ABSTRACT

Monocular Depth Estimation (MDE) aims to predict pixel-wise depth given a single RGB image. For both, the convolutional as well as the recent attention-based models, encoder-decoder-based architectures have been found to be useful due to the simultaneous requirement of global context and pixel-level resolution. Typically, a skip connection module is used to fuse the encoder and decoder features, which comprises of feature map concatenation followed by a convolution operation. Inspired by the demonstrated benefits of attention in a multitude of computer vision problems, we propose an attention-based fusion of encoder and decoder features. We pose MDE as a pixel query refinement problem, where coarsest-level encoder features are used to initialize pixel-level queries, which are then refined to higher resolutions by the proposed Skip Attention Module (SAM). We formulate the prediction problem as ordinal regression over the bin centers that discretize the continuous depth range and introduce a Bin Center Predictor (BCP) module that predicts bins at the coarsest level using pixel queries. Apart from the benefit of image adaptive depth binning, the proposed design helps learn improved depth embedding in initial pixel queries via direct supervision from the ground truth. Extensive experiments on the two canonical datasets, NYUV2 and KITTI, show that our architecture outperforms the state-of-the-art by 5.3% and 3.9%, respectively, along with an improved generalization performance by 9.4% on the SUNRGBD dataset. Code is available at https://github.com/ashutosh1807/PixelFormer.git.

研究の動機と目的

• 最先端モデルですでにエッジの整合性は保たれているものの、物体境界での深度ラベルの不正確さを是正すること。
• エンコーダ・デコーダアーキテクチャにおける高分解能の局所的特徴とグローバルな文脈的特徴の統合を改善すること。
• 初期ピクセルクエリに対する直接的监督を深度ビン予測により可能にすることで、深度情報の埋め込みを向上させること。
• アダプティブで画像固有の深度ビニングにより、SUNRGBDのような分布外データセットにおける一般化性能を向上させること。
• 従来の畳み込みベースのスキップ接続を、長距離依存性を捉えるアテンションベースのモジュールに置き換えること。

提案手法

• モデルは階層的特徴を抽出するためのビジョントランスフォーマーバックボーンを用い、最も粗い特徴マップをピクセルクエリ初期化モジュールを介してクエリを初期化する。
• スキップアテンションモジュール（SAM）は、デコーダ特徴と隣接するエンコーダ特徴間のウィンドウベースクロスアテンションを計算することで、高分解像でのクエリを精錬する。
• SAMは局所的なウィンドウ内での関連するエンコーダ特徴に注目することで、局所的畳み込みを超える文脈統合を可能にし、長距離特徴集約を実現する。
• ビンセンター予測器（BCP）モジュールは、初期ピクセルクエリから直接的に画像に適した深度ビンを推定し、真値深度からの直接的监督を提供する。
• ネットワークは離散化された深度ビンにおける順序回帰により学習され、BCPモジュールが早期かつ効果的な深度監督を可能にする。
• 全体的なアーキテクチャは、エンコーダ・デコーダ構造にイテレーティブなクエリ精錬を組み合わせ、標準的なスキップ接続をアテンションベースの統合に置き換える。

Figure 2: Detailed Architecture of our proposed approach PixelFormer : Given an input image, a vision transformer-based encoder first extracts the multiscale feature maps. The feature map with the coarsest resolution ( $E_{4}$ ) is given as input to the PQI module. The PQI module produces initial pi

実験結果

リサーチクエスチョン

• RQ1 従来の畳み込みベースのスキップ接続と比較して、エンコーダとデコーダ特徴のアテンションベース統合は、深度推定の正確性を向上させるか？
• RQ2 粗い特徴からクエリを初期化し、クロスアテンションによる精錬を経ることで、より良い深度埋め込みと一般化性能が得られるか？
• RQ3 ビンセンター予測による初期ピクセルクエリへの直接的監督は、モデル性能と収束性を向上させるか？
• RQ4 SUNRGBDのような分布外データセットにおいて、提案手法は最先端モデルと比較してどのように一般化性能を発揮するか？
• RQ5 ウィンドウベースのクロスアテンションは、過大な計算コストを伴わずに、高分解像特徴における長距離依存性を効果的に捉えることができるか？

主な発見

• PixelFormerは、前回のSOTAと比較して、NYUv2データセットで絶対相対誤差（Abs Rel）が5.3%改善された。
• KITTIデータセットでは、前回のSOTAと比較して、絶対相対誤差が3.9%、二乗相対誤差（Sq Rel）が3.9%改善された。
• SUNRGBDデータセットでは、絶対相対誤差の観点から、一般化性能が9.4%向上した。
• アブレーションスタディの結果、スキップアテンションモジュール（SAM）は、加算ベースおよび連結ベースの統合を上回り、KITTIでAbs Relで4.0%、Sq Relで4.2%の改善を示した。
• 初期ピクセルクエリを用いて深度ビンを予測するビンセンター予測器（BCP）モジュールは、別個のViTを用いた場合と比較して、Abs Relで3.0%の性能向上を達成した。
• 定性的な結果から、PixelFormerはNeWCRFsと比較して、ピロウやベッドなどの物体境界での深度ラベルの混同を低減していることが示された。

Figure 4: Qualitative comparison of previous state-of-the-art method NeWCRFs on the outdoor dataset KITTI.