[論文レビュー] PTSEFormer: Progressive Temporal-Spatial Enhanced TransFormer Towards Video Object Detection

Han Wang, Jun Tang+4 more|arXiv (Cornell University)|Sep 6, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

PTSEFormerは、時間的特徴集約モジュール（TFAM）を介した時間的特徴集約と、空間的遷移認識モジュール（STAM）を介した空間的遷移認識を統合することで、動画オブジェクト検出のための段階的時間的空間的強化Transformerを提案する。特徴表現の向上を実現し、ResNet-101バックボーンを用いた場合、ImageNet VIDで88.1%のmAPを達成し、先行するエンドツーエンド手法よりも4.9%の絶対的mAP向上を達成した。

ABSTRACT

Recent years have witnessed a trend of applying context frames to boost the performance of object detection as video object detection. Existing methods usually aggregate features at one stroke to enhance the feature. These methods, however, usually lack spatial information from neighboring frames and suffer from insufficient feature aggregation. To address the issues, we perform a progressive way to introduce both temporal information and spatial information for an integrated enhancement. The temporal information is introduced by the temporal feature aggregation model (TFAM), by conducting an attention mechanism between the context frames and the target frame (i.e., the frame to be detected). Meanwhile, we employ a Spatial Transition Awareness Model (STAM) to convey the location transition information between each context frame and target frame. Built upon a transformer-based detector DETR, our PTSEFormer also follows an end-to-end fashion to avoid heavy post-processing procedures while achieving 88.1% mAP on the ImageNet VID dataset. Codes are available at https://github.com/Hon-Wong/PTSEFormer.

研究の動機と目的

• 既存の動画オブジェクト検出手法におけるワンショット特徴集約の限界、すなわち時間的および空間的文脈の未利用活用を是正すること。
• フレームレベルの空間的および時間的関係を活用することで、運動ブラー、遮蔽、変形などの画像劣化に対する検出のロバスト性を向上させること。
• NMSやTublet-Linkingのような複雑な後処理を回避するため、DETRベースのアーキテクチャを用いてエンドツーエンド学習のパラダイムを維持すること。
• 固定で学習されたクエリに依存するのではなく、文脈フレームからのクエリ位置の回帰により、オブジェクトクエリ学習を強化すること。

提案手法

• 対象フレームと文脈フレーム間のクロスアテンションを適用することで、異なるオブジェクトポーズ間の時間的特徴を集約する時間的特徴集約モジュール（TFAM）を導入する。
• 対象フレームと各文脈フレーム間のオブジェクト位置遷移をモデル化することで、特徴表現における空間的一致性を向上させる空間的遷移認識モジュール（STAM）を提案する。
• トランスフォーマー・デコーダーにおける残差接続のバランスをとるために、ゲーテッド相関モジュールを設計する。これにより、特徴統合時の不均衡を軽減する。
• 文脈フレームからのオブジェクトクエリの回帰により、動的で文脈に依存するクエリ初期化を可能にするクエリアセンブリングモジュール（QAM）を開発する。これにより、固定クエリに依存しない。
• エンドツーエンド学習を維持し、NMSやTublet-Linkingのような複雑な後処理を回避するため、1段階検出器に基づくDETRアーキテクチャ上で全体のフレームワークを構築する。
• 段階的な特徴強化戦略を採用し、時間的および空間的情報を順次統合することで、特徴の識別能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間的および空間的情報の段階的統合は、動画オブジェクト検出における特徴表現を向上させ得るか？
• RQ2 フレーム間のオブジェクト位置遷移をモデル化することで、遮蔽や変形下でも検出のロバスト性がどのように向上するか？
• RQ3 動的クエリ学習を用いたエンドツーエンド学習は、固定クエリベースの手法に比べてどの程度優れているか？
• RQ4 専用のゲーテッド相関モジュールは、トランスフォーマー・デコーダーにおける特徴統合の安定性を向上させるか？
• RQ5 統合的で段階的な強化戦略は、時間的および空間的特徴統合においてワンショット集約を上回るか？

主な発見

• PTSEFormerは、ImageNet VIDデータセットで88.1%のmAPを達成し、以前のエンドツーエンド最先端手法よりも4.9%の絶対的mAP向上を達成した。
• ResNet-101バックボーンを用いた場合、後処理を伴うバリエーションよりも3.3%のmAP向上を示し、エンドツーエンド設計の有効性を裏付けた。
• 可視化結果から、時間的メモリ（Tt）が前景・背景分離を強化し、最終的な強化メモリ（Rt）がオブジェクト定位の信頼性を向上させていることが確認された。
• モデルは遮蔽や変形の処理において優れたロバスト性を示した。例えば、顔の一部が遮蔽されたハムスターについても、単一フレームベースラインがネコと誤分類するのに対し、正しく同定した。
• STAMモジュールにより、二匹のクジラのように密に接近したオブジェクトの検出が向上した。空間的遷移の手がかりを活用することで、重複するインスタンスの区別が可能になった。
• アブレーションスタディの結果、TFAMおよびSTAMの両方が性能向上に顕著に寄与しており、ワンステップ集約に比べて段階的統合戦略が優れていることが確認された。