[論文レビュー] Learning Where to Focus for Efficient Video Object Detection

Zhengkai Jiang, Yu Liu+6 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Image and Video Retrieval Techniques参考文献 55被引用数 10

ひとこと要約

本論文では、光流に基づかない高レベル特徴間の空間的・時間的対応関係を学習可能な微分可能モジュールである学習可能時空間サンプリング（LSTS）を提案する。検出の監視によって繰り返しサンプリング位置を最適化することで、効率的でリアルタイムな動画オブジェクト検出を実現し、最先端のmAP（77.2%）と少ないモデルパラメータ数（64.5M）を達成し、光流ベースおよび非局所的手法を上回る性能を発揮する。

ABSTRACT

Transferring existing image-based detectors to the video is non-trivial since the quality of frames is always deteriorated by part occlusion, rare pose, and motion blur. Previous approaches exploit to propagate and aggregate features across video frames by using optical flow-warping. However, directly applying image-level optical flow onto the high-level features might not establish accurate spatial correspondences. Therefore, a novel module called Learnable Spatio-Temporal Sampling (LSTS) has been proposed to learn semantic-level correspondences among adjacent frame features accurately. The sampled locations are first randomly initialized, then updated iteratively to find better spatial correspondences guided by detection supervision progressively. Besides, Sparsely Recursive Feature Updating (SRFU) module and Dense Feature Aggregation (DFA) module are also introduced to model temporal relations and enhance per-frame features, respectively. Without bells and whistles, the proposed method achieves state-of-the-art performance on the ImageNet VID dataset with less computational complexity and real-time speed. Code will be made available at https://github.com/jiangzhengkai/LSTS.

研究の動機と目的

• 光流による高レベル特徴のフレーム間伝搬における限界、すなわち高いパラメータコスト、意味論的対応関係の不正確さ、計算オーバーヘッドを解消すること。
• 事前計算された光流に依存せずに、学習可能で微分可能な特徴伝搬メカニズムを構築し、空間的正確性を維持すること。
• 疎通的再帰的更新と密な集約を用いて長距離時間的依存関係をモデル化し、特徴表現を強化することで、動画オブジェクト検出性能を向上させること。
• 最小限の計算コストとリアルタイム推論速度を実現し、エッジデバイスへのデプロイに適した最先端の精度を達成すること。

提案手法

• LSTSは、隣接フレーム間の特徴位置をサンプリングするための空間オフセットを学習し、それらをバックプロパゲーションによって監視損失に従って更新するトレーナブルパラメータとして扱う。
• キーフレームと非キーフレームからの特徴をサンプリングし、類似度を計算した後、学習された重みを用いて特徴を集約し、洗練された伝搬特徴を生成する。
• 疎通的再帰的特徴更新（SRFU）は、キーフレームの特徴を疎な集合として用いて非キーフレームの特徴を再帰的に更新することで、長距離時間的依存関係を効率的にモデル化する。
• 密な特徴集約（DFA）は、同じフレーム内のマルチスケール特徴を集約することで、各フレームの特徴を強化し、表現品質を向上させる。
• 非キーフレームには軽量なネットワーク、キーフレームには重いバックボーンを用いることで、全体のFLOPsを削減しながらも精度を保持する。
• サンプリング位置は一様分布またはガウス分布で初期化され、検出の監視によってエンドツーエンドで最適化され、データ駆動型の空間的対応関係学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なサンプリング機構は、手作業で設計されたものや光流ベースの特徴伝搬を上回ることができるか？
• RQ2 固定または光流ベースのワーピングと比較して、エンドツーエンドで最適化された空間オフセットの学習が、特徴のアライメントをどのように改善するか？
• RQ3 軽量で微分可能なモジュールは、モデルの複雑さをどれほど低減しつつ、精度を維持または向上させることができるか？
• RQ4 提案されたアーキテクチャは、性能を損なわずにリアルタイム推論速度を達成できるか？

主な発見

• 提案手法はImageNet VIDデータセットで77.2%のmAPを達成し、Non-LocalおよびMatchTransベースライン（それぞれ74.2%および75.5%のmAP）を上回った。
• 64.5Mのパラメータで23.0 FPSで実行され、高い精度を維持しながらリアルタイム推論を実現した。
• 学習可能なサンプリング位置は、固定のガウス初期化（75.5% → 77.2%）で1.7ポイント、固定の一様初期化（75.5% → 76.8%）で1.3ポイントmAPを向上させた。
• アブレーションスタディにより、異なる初期化スキームにおいても、サンプリング位置の学習が一貫して性能向上をもたらすことが確認され、微分可能パラダイムの有効性が裏付けられた。
• 光流ベースのアプローチに比べ、モデルサイズと推論時間を削減した。光流ベースのアプローチは追加のフローネットワークを必要とし、パラメータ数がResNet101+RFCNで96.7Mに増加した。
• LSTSモジュールは、すべての設定で光流ベースの特徴伝搬を上回り、高レベル特徴に対しては学習された対応関係が画像レベルのフローに比べてより正確であることを示した。