[論文レビュー] Recurrent Vision Transformers for Object Detection with Event Cameras

Mathias Gehrig, Davide Scaramuzza|Zurich Open Repository and Archive (University of Zurich)|Dec 11, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本論文は、畳み込み的バイアス、局所的および拡張されたグローバル自己注意機構、およびConv-LSTMの代わりにシンプルなLSTMを用いた効率的な再帰的特徴集約を組み合わせたマルチステージ設計により、T4 GPU上で12ms未満の推論時間と、先行手法と比較して5倍少ないパラメータ数を実現しながら、Gen1データセットで47.2%のSOTA mAPを達成する、イベントベースの物体検出のための新規バックボーンである再帰的ビジョントランスフォーマー（RVT）を紹介する。

ABSTRACT

We present Recurrent Vision Transformers (RVTs), a novel backbone for object detection with event cameras. Event cameras provide visual information with sub-millisecond latency at a high-dynamic range and with strong robustness against motion blur. These unique properties offer great potential for low-latency object detection and tracking in time-critical scenarios. Prior work in event-based vision has achieved outstanding detection performance but at the cost of substantial inference time, typically beyond 40 milliseconds. By revisiting the high-level design of recurrent vision backbones, we reduce inference time by a factor of 6 while retaining similar performance. To achieve this, we explore a multi-stage design that utilizes three key concepts in each stage: First, a convolutional prior that can be regarded as a conditional positional embedding. Second, local and dilated global self-attention for spatial feature interaction. Third, recurrent temporal feature aggregation to minimize latency while retaining temporal information. RVTs can be trained from scratch to reach state-of-the-art performance on event-based object detection - achieving an mAP of 47.2% on the Gen1 automotive dataset. At the same time, RVTs offer fast inference (<12 ms on a T4 GPU) and favorable parameter efficiency (5 times fewer than prior art). Our study brings new insights into effective design choices that can be fruitful for research beyond event-based vision.

研究の動機と目的

• イベントカメラの超低遅延潜在能力と、既存の検出モデルが示す高遅延（>40ms）とのギャップを埋める。
• 高い検出精度を維持しながら、計算遅延とパラメータ数を著しく削減するビジョントランスフォーマーベースのバックボーンを設計する。
• 特に再帰性と注意機構を含むマクロレベルのアーキテクチャ的選択が、特別なハードウェアを必要としない一般GPU上で効率的かつリアルタイムの推論を可能にする仕組みを探索する。
• 自律走行などの時間的に制限のある応用において、モデル性能、推論速度、パラメータ効率の良好なトレードオフを達成する。

提案手法

• 各ステージで空間的なインダクティブバイアスを提供し、条件付き位置埋め込みとして機能する畳み込み的プリオンを適用する階層的マルチステージバックボーンを提案する。
• 入力解像度に線形な複雑度で局所的および長距離の空間的依存関係を効率的に捉えるために、局所的および拡張されたグローバル自己注意機構を統合する。
• 計算コストの高いConv-LSTMセルの代わりに、軽量でチャネルワイドなシンプルなLSTMセルを採用し、パラメータ数と遅延を削減した効率的な時系列特徴集約を実現する。
• 標準的な検出フレームワークを用いて、RVTアーキテクチャ全体をスクラッチから訓練し、既存の物体検出パイプラインとの互換性を確保する。
• PyTorchのJITコンパイルを活用してさらに推論を高速化し、特に高パフォーマンスGPUでは、小さなモデルで3ms未満の推論時間を達成する。
• 4つのステージにわたって同じ再利用可能なステージ設計をスタックすることで、フルバックボーンを構築し、デプロイとハイパーパramータチューニングを簡素化する。

Figure 1 : Detection performance vs inference time of our RVT models on the 1 Mpx detection dataset using a T4 GPU. The circle areas are proportional to the model size.

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーベースのバックボーンは、標準GPU上でイベントベースの物体検出において、高い精度と低い推論遅延の両方を達成できるか？
• RQ2 Conv-LSTMをシンプルなLSTMセルに置き換えることで、イベントベースの検出における性能と効率にどのような影響が生じるか？
• RQ3 局所的および拡張されたグローバル自己注意機構は、イベントストリームからの空間時系列特徴をモデル化する際に、従来の畳み込み型またはグラフベースの処理をどの程度代替できるか？
• RQ4 強力な畳み込み的プリオンは、イベントデータ向けのトランスフォーマーベースアーキテクチャにおいて、効果的な条件付き位置埋め込みとして機能できるか？
• RQ5 再帰の配置や注意タイプといったアーキテクチャのマクロ設計選択が、イベントベースビジョンにおける性能-遅延トレードオフに与える影響はどの程度か？

主な発見

• RVTは、Gen1自動車データセットで47.2%の新しいSOTA mAPを達成し、ASTMNet や RED といった先行手法を上回った。
• ベースRVTモデルは、Gen1データセットでT4 GPU上で10.2ms、1 Mpxデータセットで11.9msの推論時間を達成し、先行SOTA手法と比較して6倍の遅延削減を実現した。
• PyTorchのJITコンパイルを活用した場合、RTX 3090 GPU上で1 Mpxデータセットのベースモデルの推論時間が2.8msにまで短縮された。
• ティニーRVTモデルは、Gen1データセットでREDモデルと比較して4.1%高いmAPを達成したが、パラメータ数は5倍少ない（18.5M vs. 92M）。
• RVTバックボーンは、パラメータ数を100M（先行技術）から18.5Mに削減し、性能に妥協を来さずに5倍のパラメータ効率向上を達成した。
• イベントが存在しない間隔でも、モデルは頑健な検出性能を維持するが、イベントが完全に存在しない状況では性能が低下する傾向にあり、今後の研究ではフレームとのマルチモodal融合の必要性が示唆された。

Figure 2 : Overview of the unrolled computation graph of our multi-stage recurrent backbone. Events are processed into a tensor representation before they are used as input to the first stage. Each stage also reuses the LSTM states (c: cell, h: hidden) from the previous timestep. Finally, the detect