[論文レビュー] Object Detection in Video with Spatial-temporal Context Aggregation

Hao Luo, Lichao Huang+4 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 9

ひとこと要約

本論文は、自己注意機構を用いてフレーム間の提案同士の意味的および空間時間的関係をモデル化することで、オブジェクト提案特徴を向上させる、プロポーザルレベルの空間時間的コンテキスト集約（STCA）フレームワークを提案する。時間的後処理や追加アノテーションを一切用いず、ImageNet VIDで80.3% mAPを達成し、先行する最先端手法を1.4% mAP上回り、単一フレームのFaster R-CNNを5.8% mAP向上させる。

ABSTRACT

Recent cutting-edge feature aggregation paradigms for video object detection rely on inferring feature correspondence. The feature correspondence estimation problem is fundamentally difficult due to poor image quality, motion blur, etc, and the results of feature correspondence estimation are unstable. To avoid the problem, we propose a simple but effective feature aggregation framework which operates on the object proposal-level. It learns to enhance each proposal's feature via modeling semantic and spatio-temporal relationships among object proposals from both within a frame and across adjacent frames. Experiments are carried out on the ImageNet VID dataset. Without any bells and whistles, our method obtains 80.3\% mAP on the ImageNet VID dataset, which is superior over the previous state-of-the-arts. The proposed feature aggregation mechanism improves the single frame Faster RCNN baseline by 5.8% mAP. Besides, under the setting of no temporal post-processing, our method outperforms the previous state-of-the-art by 1.4% mAP.

研究の動機と目的

• 動きぼけ、隠蔽、低画質による動画オブジェクト検出におけるピクセルレベル特徴対応推定の不安定性を解消すること。
• ピクセル単位の特徴伝搬に代えて、オブジェクトプロポーザル間の空間時間的コンテキストを活用することで、検出精度を向上させること。
• 手作業で設計されたワープやオプティカルフローに依存せずに、エンタングルドで学習可能でエンドツーエンドのフレームワークを構築すること。
• Seq-NMSのような時間的後処理に依存するのを減らすために、トレーニング段階で時間的整合性を学習すること。
• オプティカルフロー やインスタンスID などの追加アノテーションを必要とせず、最先端の性能を達成すること。

提案手法

• 本手法はRPNによって生成されたオブジェクトプロポーザルを対象とし、各フレームごとにROIアライメント特徴を抽出する。
• プロポーザルレベルの特徴集約ユニットは、コンテンツおよび空間時間的位置埋め込みに基づいてプロポーザル特徴間の依存関係を自己注意でモデル化する。
• 空間的および時間的位置埋め込みを明示的に注意機構に追加し、プロポーザル間の幾何的および時間的関係を保持する。
• STCAユニットは、フレーム内および隣接フレーム間のプロポーザル間で特徴を集約し、検出に適した強化された表現を生成する。
• 強化された特徴はFaster R-CNNヘッドに供給され、時間的後処理なしにエンドツーエンドで訓練される。
• ピクセルレベルの対応推定を回避するため、動きぼけや画像劣化に対しても頑健である。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベル特徴集約と比較して、オブジェクトレベルの空間時間的コンテキスト集約は、動画オブジェクト検出精度を向上させ得るか？
• RQ2 手作業で設計された特徴ワープやオプティカルフローに基づく補正に比べ、学習可能なプロポーザルレベルの注意機構は優れているか？
• RQ3 Seq-NMSのような時間的後処理に依存せずに、モデルはどの程度時間的整合性を学習できるか？
• RQ4 オプティカルフロー やインスタンスID などの追加アノテーションが存在しない場合、本手法はどの程度の性能を示すか？
• RQ5 動きぼけ や隠蔽 などの困難な状況下でも、モデルは十分に一般化できるか？

主な発見

• 提案手法は、同じ評価プロトコル下で、ImageNet VIDデータセットで80.3% mAPを達成し、前回の最先端手法を1.4% mAP上回った。
• 時間的後処理を一切用いず、STSN（78.9% mAP）を1.4% mAP上回り、優れた時間的整合性学習能力を示した。
• 単一フレームのFaster R-CNNベースラインを5.8% mAP向上させ、空間時間的コンテキスト集約による顕著な向上を示した。
• オプティカルフロー やインスタンスID のアノテーションが存在しない状況でも、80.6% mAPを達成し、こうしたアノテーションに依存する最良の手法を上回った。
• 時間的後処理（例：Seq-NMS）は、本手法に対して僅か0.3% mAPの向上しかもたらさず、トレーニング段階で既に時間的整合性が十分に学習されていることが示された。
• 可視化により、モデルが意味的に関連する、空間的・時間的に離れたプロポーザルに注目し、多様な条件下で特徴品質を向上させていることが確認された。