[論文レビュー] SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation

Chang Shu, Ziming Chen+4 more|arXiv (Cornell University)|Apr 29, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

SideRTは、畳み込みを用いず、クロススケールアテンション（CSA）とマルチスケールリファインメント（MSR）モジュールを用いてマルチスケール特徴を効率的に統合する、純粋なトランスフォーマー型アーキテクチャを提案する。KITTIでは51.3 FPS、より小さなスウィン-Tバックボーンでは83.1 FPSのリアルタイム性能を達成し、KITTIでAbsRelを6.9%、NYUで9.7%改善した。

ABSTRACT

Since context modeling is critical for estimating depth from a single image, researchers put tremendous effort into obtaining global context. Many global manipulations are designed for traditional CNN-based architectures to overcome the locality of convolutions. Attention mechanisms or transformers originally designed for capturing long-range dependencies might be a better choice, but usually complicates architectures and could lead to a decrease in inference speed. In this work, we propose a pure transformer architecture called SideRT that can attain excellent predictions in real-time. In order to capture better global context, Cross-Scale Attention (CSA) and Multi-Scale Refinement (MSR) modules are designed to work collaboratively to fuse features of different scales efficiently. CSA modules focus on fusing features of high semantic similarities, while MSR modules aim to fuse features at corresponding positions. These two modules contain a few learnable parameters without convolutions, based on which a lightweight yet effective model is built. This architecture achieves state-of-the-art performances in real-time (51.3 FPS) and becomes much faster with a reasonable performance drop on a smaller backbone Swin-T (83.1 FPS). Furthermore, its performance surpasses the previous state-of-the-art by a large margin, improving AbsRel metric 6.9% on KITTI and 9.7% on NYU. To the best of our knowledge, this is the first work to show that transformer-based networks can attain state-of-the-art performance in real-time in the single image depth estimation field. Code will be made available soon.

研究の動機と目的

• 単一画像深度推定において、高精度を維持しつつリアルタイムの推論速度を達成する挑戦に応えること。
• 畳み込みニューラルネットワーク（CNN）がグローバルコンテキストを捉える能力に限界を示す一方で、標準的なトランスフォーマーの計算コストの高さを克服すること。
• 畳み込みのようなパラメータ集約型コンponentを避ける、軽量で純粋なトランスフォーマー基盤のアーキテクチャを設計すること。
• 深度推定に特化した効率的なアテンションメカニズムを統合することで、リアルタイム性能を実現する最先端の性能を達成すること。
• トランスフォーマー基盤のモデルが、CNNを上回る精度を発揮しながらも、リアルタイム推論速度を維持できることを実証すること。

提案手法

• シフトドウインドウ自己アテンションを用いて階層的特徴を抽出するスウィントランスフォーマー・エンコーダを採用する。
• アテンションスコアを用いて、異なるスケール間で意味的に類似した特徴を統合するクロススケールアテンション（CSA）を導入する。
• 対応する位置に沿ってスケール間で特徴を空間的にアライメントし、精錬するマルチスケールリファインメント（MSR）を実装する。
• 畳み込みを避けるために、学習可能なパラメータを最小限に抑えたCSAおよびMSRモジュールを設計し、計算オーバーヘッドを低減する。
• 純粋なトランスフォーマー設定において、訓練の安定性を高め、収束を加速させるためにマルチステージ監視（MSS）を適用する。
• 粗いものから細かいものへと段階的に特徴を精錬する階層的デコード戦略を採用し、低解像度から高解像度の特徴へと段階的に深度予測を改善する。

実験結果

リサーチクエスチョン

• RQ1 純粋なトランスフォーマー型アーキテクチャは、リアルタイム推論速度を維持しつつ、最先端の深度推定性能を達成できるか？
• RQ2 畳み込みを用いず、グローバルコンテキストモデリングを強化するために、クロススケールアテンションとマルチスケールリファインメントはどの程度効果的か？
• RQ3 マルチステージ監視（MSS）は、純粋なトランスフォーマー基盤の深度推定モデルにおける訓練の安定性と性能にどのような影響を与えるか？
• RQ4 提案アーキテクチャは、従来のCNNベースおよびトランスフォーマー基盤の手法と比較して、スピードと精度のトレードオフにおいてどのように差をつけるか？
• RQ5 CSAモジュールは、ネイティブなトランスフォーマー・エンコーダの有効受容 field をどの程度拡張するか？

主な発見

• SideRTはKITTIで51.3 FPSの推論速度を達成し、前回のSOTAと比較してAbsRelを6.9%改善（0.058 → 0.054）した。
• NYUデータセットでは、AbsRelを0.103から0.093に低下させ、9.7%の改善を達成し、優れた一般化性能を示した。
• より小さなスウィン-Tバックボーンを用いる場合、SideRTはKITTIで83.1 FPS、NYUで84.4 FPSを達成し、わずかな性能低下で済んだ。
• アブレーションスタディの結果、CSAおよびMSRモジュールがそれぞれ顕著な性能向上に寄与しており、特にCSAが有効受容 field を拡張していることが確認された。
• マルチステージ監視（MSS）は滑らかな訓練損失曲線と高速な収束をもたらし、純粋なトランスフォーマーの訓練において不可欠であることが証明された。
• 可視化結果から、CSAが大規模な空間的距離を隔てた意味的および深度的に類似した領域からの応答を強化していることが確認され、グローバルコンテキストモデリングにおけるその役割が妥当であることが裏付けられた。