[論文レビュー] TF-Blender: Temporal Feature Blender for Video Object Detection

Yiming Cui, Liqi Yan+2 more|arXiv (Cornell University)|Aug 12, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

TF-Blender は、動画クリップ内のすべてのフレームペア間の細粒度な時間的関係をモデル化することで特徴表現を向上させる、一般化可能でプラグイン可能なフレームワークである。時間的関係モジュールにより適応的重みを計算し、特徴調整モジュールで空間的詳細を保持し、特徴ブレンドモジュールで強化された特徴を統合することで、SOTA手法に比べて ImageNet VID で +0.7% mAP、YouTube-VIS で +1.5% mAP の向上を達成した。

ABSTRACT

Video objection detection is a challenging task because isolated video frames may encounter appearance deterioration, which introduces great confusion for detection. One of the popular solutions is to exploit the temporal information and enhance per-frame representation through aggregating features from neighboring frames. Despite achieving improvements in detection, existing methods focus on the selection of higher-level video frames for aggregation rather than modeling lower-level temporal relations to increase the feature representation. To address this limitation, we propose a novel solution named TF-Blender,which includes three modules: 1) Temporal relation mod-els the relations between the current frame and its neighboring frames to preserve spatial information. 2). Feature adjustment enriches the representation of every neigh-boring feature map; 3) Feature blender combines outputs from the first two modules and produces stronger features for the later detection tasks. For its simplicity, TF-Blender can be effortlessly plugged into any detection network to improve detection behavior. Extensive evaluations on ImageNet VID and YouTube-VIS benchmarks indicate the performance guarantees of using TF-Blender on recent state-of-the-art methods.

研究の動機と目的

• 運動ブラー、隠蔽、外観変動によって引き起こされる特徴の劣化を解消すること。
• 動画フレーム間の局所的な空間的一致性とグローバルな意味的対応関係をモデル化することで、特徴表現を向上させること。
• 任意の検出ネットワークを最小限のアーキテクチャ変更で強化できる汎用モジュールを設計すること。
• 現在のフレームと隣接フレーム間のグローバル関係にのみ焦点を当てたり、固定されたフレーム集約を使用する既存手法の制限を克服すること。
• 空間的構造を保持しながら時間的整合性を高める、エンドツーエンドでロバストな特徴集約を可能にすること。

提案手法

• 時間的関係モジュールは、学習可能な関数 g(fi,fj) を用いて、クリップ内のすべてのフレームペア間の適応的重みを計算し、局所的およびグローバルな関係を捉える。
• 特徴調整モジュールは、他の隣接フレームと特徴を統合することで隣接フレームの特徴を強化し、空間的制約を追加して細粒度な詳細を保持する。
• 特徴ブレンドモジュールは、時間的関係モジュールと特徴調整モジュールの出力を、学習された注意重みを用いて統合し、より強固な特徴を生成する。
• このフレームワークは、ResNeXt や Swin Transformer などの任意の検出バックボーンに挿入可能であり、主ネットワークの再訓練を必要としない軽量モジュールとして実装されている。
• 複数ヘッドクロスアテンション機構を用いて、異なるフレームの特徴間の類似度スコアを計算し、動的で文脈に適応した集約を可能にする。
• モジュール全体は微分可能であり、検出ヘッドとエンドツーエンドで訓練され、特徴学習と検出の共同最適化が保証される。

実験結果

リサーチクエスチョン

• RQ1 動画クリップ内のすべてのフレームペア間のペアワイズ時間的関係をモデル化することで、オブジェクト検出のための特徴表現が向上するか？
• RQ2 特徴集約中に局所的な空間的構造を保持することで、外観変動や運動ブラー下でも検出性能が向上するか？
• RQ3 任意の既存の動画オブジェクト検出器を最小限のアーキテクチャ変更で強化できる汎用モジュールを設計できるか？
• RQ4 FGFA や SELSA などの既存の特徴集約手法と比較して、提案手法の精度と効率はどのように異なるか？
• RQ5 物体のサイズや運動速度が、提案手法の性能向上に与える影響は何か？

主な発見

• TF-Blender は、最先端の検出器と統合した際、ImageNet VID ベンチマークで絶対的な mAP 向上を 0.7% 達成した。
• YouTube-VIS ベンチマークでは、SOTA 手法に比べて mAP を 1.5% 向上させ、データセット間で強い一般化性能を示した。
• 大規模オブジェクトで最も高い性能向上を示し、高解像度の特徴マップが細粒度な重み学習の恩恵を受けることで mAP が向上した。
• 最も大きな向上が、ゆっくりと動くオブジェクト（テストセットの 37.9%）で観察された。これは、運動の曖昧さや外観変動の処理が優れていることを示唆している。
• 軽量設計のおかげで、推論コストの増加はわずかであり、速度-精度のトレードオフが良好に維持されている。
• アブレーションスタディの結果、ミニネットワークの層数を増やすと過学習が生じ、3 層で 3×3 カーネルを用いた構造が最適な性能を発揮した。