[論文レビュー] MODETR: Moving Object Detection with Transformers

Eslam Mohamed, Ahmad El Sallab|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications参考文献 8被引用数 4

ひとこと要約

MODETRは、空間（RGB）および運動（光流またはスタックドRGB）特徴を、両モodalitに跨るマルチヘッド自己注意を用いて統合する、2ストリームのTransformerベースのアーキテクチャを提案する。DETRの空間的位置符号化を拡張するための時間的位置符号化（TPE）を導入することで、KITTI MODデータセットにおいて最先端の手法よりも5% mAP向上を達成し、RGBのみのベースラインモデルよりも10% mAP向上を達成した。

ABSTRACT

Moving Object Detection (MOD) is a crucial task for the Autonomous Driving pipeline. MOD is usually handled via 2-stream convolutional architectures that incorporates both appearance and motion cues, without considering the inter-relations between the spatial or motion features. In this paper, we tackle this problem through multi-head attention mechanisms, both across the spatial and motion streams. We propose MODETR; a Moving Object DEtection TRansformer network, comprised of multi-stream transformer encoders for both spatial and motion modalities, and an object transformer decoder that produces the moving objects bounding boxes using set predictions. The whole architecture is trained end-to-end using bi-partite loss. Several methods of incorporating motion cues with the Transformer model are explored, including two-stream RGB and Optical Flow (OF) methods, and multi-stream architectures that take advantage of sequence information. To incorporate the temporal information, we propose a new Temporal Positional Encoding (TPE) approach to extend the Spatial Positional Encoding(SPE) in DETR. We explore two architectural choices for that, balancing between speed and time. To evaluate the our network, we perform the MOD task on the KITTI MOD [6] data set. Results show significant 5% mAP of the Transformer network for MOD over the state-of-the art methods. Moreover, the proposed TPE encoding provides 10% mAP improvement over the SPE baseline.

研究の動機と目的

• 2次元畳み込みネットワークが、移動物体検出における空間的特徴と運動的特徴の間の相関関係を十分にモデル化できないという限界を解決すること。
• 光流または連続するRGBフレームからの運動情報を取り入れることで、DETRアーキテクチャを空間的・時間的特徴を処理できるように拡張すること。
• Transformerが順序的な運動パターンを効果的にモデル化できるような時間的符号化機構を設計すること。
• 統一されたTransformerフレームワーク内で、異なる運動統合戦略（RGB+OF 対 RGB+RGB）およびTPEバリアントの性能を評価すること。

提案手法

• 空間（RGB）および運動（OF もしくはスタックドRGB）特徴のための別個のエンコーダを備えた2ストリーム設計に、DETRのエンコーダデコーダアーキテクチャを適応させる。
• 空間的関係をモデル化するために、空間的位置符号化（SPE）を用いて、空間ストリームおよび運動ストリームの両方でマルチヘッド自己注意を適用する。
• 連続フレーム間の時間的ダイナミクスをモデル化できるように、SPEを拡張する新しい時間的位置符号化（TPE）を導入する。
• 2つのTPE戦略を検討する：融合前（早期TPE）に適用する戦略と、個々のフレーム符号化後に適用する（後期TPE）戦略で、速度と性能のバランスを図る。
• オブジェクトクエリに基づくデコーダの前に、ストリームの結合を連結または1x1畳み込みで行う。
• セット予測のためのバイパーティットマッチング損失を用いて、後処理を必要としないエンドツーエンドの最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、2D CNNベースの手法を上回る性能を発揮するように、空間的および運動的特徴を効果的にモデル化できるか？
• RQ2 光流と連続するRGBフレームを運動の特徴として統合する場合、TransformerベースのMODシステムにおける検出性能にどのような影響を与えるか？
• RQ3 2ストリームTransformerにおける時間的符号化戦略（早期TPE 対 後期TPE）の違いが、運動ダイナミクスのモデル化に与える影響は何か？
• RQ4 TPEを組み込んだ変更版DETRは、KITTI MODベンチマークで最先端の性能を達成できるか？
• RQ5 MODETRの注意メカニズムは、移動物体に効果的に注目することができ、入力モダリティごとにどのように異なるか？

主な発見

• RGB+OFバージョンのMODETRは、KITTI MODデータセットで42.9%のmAPを達成し、既存の最先端手法よりも5%の向上を達成した。
• 提案された時間的位置符号化（TPE）は、RGB+OF設定で使用した際、空間的位置符号化（SPE）ベースラインに対して10%のmAP向上をもたらした。
• RGB+RGB構成において、早期TPEバージョンは33.3%のmAPを達成し、後期TPE（24.4%）を上回り、早期の時間的統合の有効性を示した。
• MODETRの注意マップは、特にRGB+OF設定において、車輪や物体の境界などの移動部分に明確に注目しており、運動特徴への効果的な注目が確認された。
• MODETRは、マルチタスク学習を実行するMODNetやInstanceMotSegを上回ったが、同じベンチマークで評価されたことから、エンドツーエンドのTransformer設計の利点が示された。
• RGB+OF入力のモデルは66.3%のmAP@50を達成し、RGBのみのベースライン（48.3% mAP@50）を著しく上回った。これは、明示的な運動特徴の価値を強力に示している。