[論文レビュー] Event-based Monocular Dense Depth Estimation with Recurrent Transformers

Xu Liu, Jianing Li+2 more|arXiv (Cornell University)|Dec 6, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文では、空間変換器融合（STF）モジュールを用いてグローバルなコンテキストをモデル化し、ゲート再帰的ビジョン変換器（GRViT）ユニットを用いて連続的なイベントストリームからの長距離時系列依存性を効率的に活用する、イベントカメラ向けの純トランスフォーマー型単眼深度推定器であるEReFormerを提案する。EReFormerは、合成データ（DENSE）および実世界データ（MVSEC）の両方で最先端の性能を達成し、前人研究を大きく上回るが、GPUメモリコストを低減している。

ABSTRACT

Event cameras, offering high temporal resolutions and high dynamic ranges, have brought a new perspective to address common challenges (e.g., motion blur and low light) in monocular depth estimation. However, how to effectively exploit the sparse spatial information and rich temporal cues from asynchronous events remains a challenging endeavor. To this end, we propose a novel event-based monocular depth estimator with recurrent transformers, namely EReFormer, which is the first pure transformer with a recursive mechanism to process continuous event streams. Technically, for spatial modeling, a novel transformer-based encoder-decoder with a spatial transformer fusion module is presented, having better global context information modeling capabilities than CNN-based methods. For temporal modeling, we design a gate recurrent vision transformer unit that introduces a recursive mechanism into transformers, improving temporal modeling capabilities while alleviating the expensive GPU memory cost. The experimental results show that our EReFormer outperforms state-of-the-art methods by a margin on both synthetic and real-world datasets. We hope that our work will attract further research to develop stunning transformers in the event-based vision community. Our open-source code can be found in the supplemental material.

研究の動機と目的

• 非同期イベントストリームからの疎な空間的情報と豊富な時系列手がかりを、単眼深度推定において効果的にモデル化する課題に対処すること。
• 局所的な受容野を持つ畳み込みニューラルネットワーク（CNN）ベースの手法がグローバルコンテキストを捉えるのを制限する点を克服すること。
• 過大なGPUメモリコストを伴わずに、長距離時系列依存性を効率的に活用できるトランスフォーマー基盤のアーキテクチャを設計すること。
• 再帰的メカニズムをトランスフォーマーに組み込み、イベントストリームの連続的処理を可能にし、高密度な深度予測を実現すること。
• 動きぼけや低照度といった困難な条件下における、イベントカメラ技術と実用的な単眼深度推定のギャップを埋めること。

提案手法

• 疎なイベントからのグローバル空間的コンテキストをモデル化する目的で、Swin Transformerブロックを用いたトランスフォーマー基盤のエンコーダデコーダバックボーンを提案する。
• マルチスケール特徴量を統合するためのスキップ接続として、空間変換器融合（STF）モジュールを導入し、空間的コンテキスト表現を強化する。
• 再帰的メカニズムを統合したゲート再帰的ビジョン変換器（GRViT）ユニットを設計し、効率的な時系列モデリングを実現する。
• GRViTにおける更新ゲートメカニズムを用いて、隠れ状態を効果的に保持または忘却することで、時系列情報の保持とメモリ効率のバランスを図る。
• ボクセル化されたイベントグリッド上で、教師ありの方法でエンドツーエンドにモデルを学習し、高密度な深度マップを予測する。
• STFとGRViTを統合した統一されたEReFormerフレームワークを構築し、イベントストリームの空間的および時系列的モデリングを統合的に実現する。

実験結果

リサーチクエスチョン

• RQ1 純トランスフォーマーのアーキテクチャは、単眼深度推定において、疎で非同期なイベントデータからグローバルな空間的コンテキストを効果的にモデル化できるか？
• RQ2 再帰的メカニズムをトランスフォーマーに統合することで、GPUメモリ使用量を最小限に抑えながら、連続的なイベントストリームを効率的に処理できるか？
• RQ3 トランスフォーマー基盤のエンコーダデコーダにおいて、マルチスケール特徴量を最適に統合する戦略は何か？
• RQ4 提案されたGRViTユニットは、標準的なアテンションメカニズムや残差接続と比較して、長距離時系列依存性をどのように効果的にモデル化できるか？
• RQ5 困難な条件下（動きぼけや低照度）でも、トランスフォーマー基盤のアプローチは、CNNベースの最先端手法を上回ることができるか？

主な発見

• STFモジュールを用いることで、ベースライン比で絶対相対誤差（Abs.Rel.）が3.3%改善され、特徴量統合の有効性が裏付けられた。
• GRViTユニットを用いることで、ベースライン比でAbs.Rel.が8.2%低減され、時系列モデリングにおける優位性が実証された。
• 10m、20m、30mの距離で、STFモジュールはADDおよびCONCAT操作をそれぞれ4.1%、5.1%、3.6%上回り、同等の推論速度を維持した。
• GRViTにおける更新ゲートメカニズムは、最も高い性能（Abs.Rel. = 0.271）を達成し、残差およびアテンション操作よりも高速であった。
• MVSEC屋外日1シーケンスでは、EReFormerがAbs.Rel. 0.271を達成し、ADD、CONCAT、および残差接続を用いたすべての比較手法を上回った。
• EReFormerは推論遅延が低く（27.43ms）、高速移動および低照度シナリオでも安定した性能を示し、実用性が裏付けられた。