[論文レビュー] MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer

Chaoqiang Zhao, Youmin Zhang+7 more|arXiv (Cornell University)|Aug 6, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

MonoViT は、畳み込みニューラルネットワーク (CNNs) とビジョントランスフォーマー (ViTs) を組み合わせることで、局所的およびグローバルな画像コンテキストを同時にモデル化する自己教師あり単眼深度推定フレームワークを提案する。トランスフォーマーのグローバルな受容 field と CNN の局所的特徴抽出機能を活用することで、KITTI で最先端の性能を達成し、Make3D および DrivingStereo データセットでも優れた一般化性能を示す。

ABSTRACT

Self-supervised monocular depth estimation is an attractive solution that does not require hard-to-source depth labels for training. Convolutional neural networks (CNNs) have recently achieved great success in this task. However, their limited receptive field constrains existing network architectures to reason only locally, dampening the effectiveness of the self-supervised paradigm. In the light of the recent successes achieved by Vision Transformers (ViTs), we propose MonoViT, a brand-new framework combining the global reasoning enabled by ViT models with the flexibility of self-supervised monocular depth estimation. By combining plain convolutions with Transformer blocks, our model can reason locally and globally, yielding depth prediction at a higher level of detail and accuracy, allowing MonoViT to achieve state-of-the-art performance on the established KITTI dataset. Moreover, MonoViT proves its superior generalization capacities on other datasets such as Make3D and DrivingStereo.

研究の動機と目的

• 自己教師あり単眼深度推定における畳み込みニューラルネットワーク (CNNs) の受容 field の制限を解決し、長距離依存関係をモデル化する能力を高める。
• 従来の CNN に基づくモデルの局所的推論ボトルネックを克服するため、ビジョントランスフォーマー (ViTs) を統合してグローバルコンテキストモデリングを可能にする。
• CNN とトランスフォーマーの長所を組み合わせたハイブリッドバックボーンアーキテクチャを構築し、深度推定の精度向上と細粒度のディテール回復を実現する。
• KITTI、Make3D、DrivingStereo などの多様なデータセットにおいて、提案モデルの優れた一般化性能を示す。
• 注釈付き深度ラベルを一切使用せず、単眼動画データのみを用いて自己教師あり深度推定の分野で新たな最先端性能を確立する。

提案手法

• 単眼深度推定のためのハイブリッドエンコーダアーキテクチャ、MonoViT を設計し、プレーンな畳み込み層とビジョントランスフォーマー (ViTs) のマルチヘッド自己注意ブロックを統合して、局所的およびグローバルな画像表現を同時に捉える。
• 二重パス特徴抽出機構を採用：CNN パスは局所的ディテール学習を、トランスフォーマー パスは画像全体の長距離空間的依存関係をモデル化する。
• CNN パスとトランスフォーマー パスの出力を「Joint CNN & Transformer Layer」で統合し、複数スケールでの特徴統合を可能にする。
• 連続フレーム間の幾何的制約を活用して、単眼動画シーケンスからの画像再投影損失を自己教師信号として使用し、深度推定を監督する。
• 複数スケールの監視とスキップ接続をデコーダーに適用し、特徴の精練を促進し、細粒度レベルでの推定精度を向上させる。
• バックボーンを ImageNet で事前学習し、単眼動画データを用いた自己教師あり対照学習により、全モデルをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド CNN-Transformer エンコーダー アーキテクチャは、自己教師あり単眼深度推定において、局所的およびグローバルコンテキストモデリングを可能にすることで、深度推定精度を向上させることができるか？
• RQ2 自己教師あり深度推定ネットワークのバックボーンにビジョントランスフォーマーを統合することで、純粋な CNN に基づくモデルと比較して、多様なデータセットにおける一般化性能が向上するか？
• RQ3 トランスフォーマーのグローバルな受容 field は、CNN が長距離依存関係および細粒度の構造的ディテールを捉える能力に制限を受けるのをどのように緩和するか？
• RQ4 CNN パス、トランスフォーマー パス、および注意ブロックが、提案アーキテクチャの最終的性能に果たす相対的寄与度はどの程度か？
• RQ5 KITTI、Make3D、DrivingStereo などのベンチマークデータセットにおいて、提案された MonoViT モデルは、既存の最先端手法をどの程度上回るか？

主な発見

• MonoViT は KITTI ベンチマークで新たな最先端性能を達成し、絶対相対誤差 (Abs Rel) が 0.099 にまで低下し、以前のすべての CNN およびトランスフォーマー基盤モデルを上回った。
• Make3D データセットでは、CADepth や DIFFNet よりも高い精度を達成し、Abs Rel が 0.099 に低下し、δ1、δ2、δ3 の指標も向上した。
• アブレーションスタディでは、CNN パスを削除すると顕著な性能低下が生じ（Abs Rel が 0.114 に上昇）、細粒度ディテールの保持においてその重要性が確認された。
• アブレーションでは、トランスフォーマー パスの削除により Abs Rel が 0.127 に上昇したため、グローバルコンテキストモデリングが性能に大きく寄与していることが示された。
• デコーダー内の注意ブロックは不可欠であり、その削除により Abs Rel が 0.101 に上昇し、δ1 が 0.900 から 0.898 に低下した。これは、深度推定の精練においてその役割が重要であることを示している。
• DrivingStereo データセットにおいても、MonoViT は既存の SoTA モデルを上回る一般化性能を示し、Abs Rel が 0.099 に低下し、δ1 が 0.900 に上昇した。これは、実世界の困難なシーンに対しても強いロバスト性を示している。