[論文レビュー] Video Object Detection with an Aligned Spatial-Temporal Memory

Fanyi Xiao, Yong Jae Lee|arXiv (Cornell University)|Dec 18, 2017

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、事前学習済みImageNet重みの統合とフレーム間の空間的・時間的整合化を可能にする新規の空間的・時間的メモリモジュール（STMM）とMatchTransモジュールを備えた空間的・時間的メモリネットワーク（STMN）を提案する。この手法はImageNet VIDで最先端の性能を達成し、Fast-RCNNとVGG-16を用いて50.7%のmAPを達成した。これは、事前学習済み重みと動きに敏感な整合化が長期間の動画理解において極めて重要であることを示している。

ABSTRACT

We introduce Spatial-Temporal Memory Networks for video object detection. At its core, a novel Spatial-Temporal Memory module (STMM) serves as the recurrent computation unit to model long-term temporal appearance and motion dynamics. The STMM's design enables full integration of pretrained backbone CNN weights, which we find to be critical for accurate detection. Furthermore, in order to tackle object motion in videos, we propose a novel MatchTrans module to align the spatial-temporal memory from frame to frame. Our method produces state-of-the-art results on the benchmark ImageNet VID dataset, and our ablative studies clearly demonstrate the contribution of our different design choices. We release our code and models at http://fanyix.cs.ucdavis.edu/project/stmn/project.html.

研究の動機と目的

• 時間情報を後処理として扱うか、固定長のウィンドウを用いる既存の動画オブジェクト検出器の限界を解消すること。
• 空間的局在性と特徴の整合性を保ちながら、動画内の長期的な外見的および運動的ダイナミクスをモデル化すること。
• 事前学習済みImageNet重みを特徴抽出部および予測ヘッドの両方に統合することで、時間的依存性のエンドツーエンド学習を可能にすること。
• より簡単な初期フレームからのメモリを活用することで、遮蔽、ポーズの変化、運動ぼやけなどの困難な状況下でも検出のロバスト性を向上させること。

提案手法

• 本手法の核となるのは、フレーム間で空間的に意識されたメモリを維持する畳み込み再帰ユニットである空間的・時間的メモリモジュール（STMM）である。
• STMMは、特徴抽出部および予測ヘッドの両方で事前学習済みImageNet重みを完全に統合し、一般化性能と収束性を向上させる。
• フレーム間の2次元の動きのずれを明示的にモデル化する新しいMatchTransモジュールを導入し、空間的メモリ内の特徴を整合化することで、ピクセル単位の正確な時間的集約を可能にする。
• ReLU活性化関数を用いたゲート付き再帰メカニズムにより、フレーム単位でメモリを更新する。標準的なSigmoidおよびTanh関数に代わり、事前学習済み重みとより整合性の高い設計を実現する。
• 領域の認識（ROI）特徴は、アライメント済みメモリからROIプーリングにより直接抽出され、効率的な検出推論を可能にする。
• 標準の検出ヘッドを用いてエンドツーエンドで学習され、推論時には長期間の依存関係を捉えるために可変長のテストウィンドウをサポートする。

実験結果

リサーチクエスチョン

• RQ1 特徴抽出部および予測ヘッドの両方に事前学習済みImageNet重みを統合することで、動画オブジェクト検出性能にどのような影響を与えるか？
• RQ2 MatchTransによる空間的・時間的整合化は、動きや視点の変化がある状況下で、どの程度検出精度を向上させるか？
• RQ3 同じ事前学習済み重みを用いた場合、提案されたSTMMは標準的なConvGRUに比べてどの程度優れているか？
• RQ4 テストウィンドウ長が検出精度に与える影響は何か？また、シーケンス長が延びた場合、メモリの利用効率はどのように変化するか？
• RQ5 提案手法は、異なるバックボーンネットワークやベース検出器に対しても一般化可能であり、最先端の性能を維持できるか？

主な発見

• 提案されたSTMNは、Fast-RCNNとVGG-16を用いてImageNet VIDの検証セットで50.7%のmAPを達成し、すべてのアブレーションベースラインを上回った。
• MatchTransモジュールを削除した場合（STMN-No-MatchTrans）、mAPが1.7%低下（49.0%）し、空間的整合化の重要性が示された。
• 事前学習済み重みを用いたConvGRU（ConvGRU-Pretrain）では48.0%のmAPを達成したが、ReLUと事前学習済み重みを併用した完全なSTMNでは50.7%に上昇し、アーキテクチャの整合性の利点が明らかになった。
• テストウィンドウ長が長くなるほどモデルの性能が向上し、ウィンドウサイズ15ではサイズ7に比べてmAPが1.0%向上した。これは、長期間のメモリ利用が有効に行われていることを示している。
• STMMの計算オーバーヘッドは非常に小さく、Titan X GPU上では1フレームあたり0.028秒（11フレームで0.31秒）しか追加しない。
• アブレーションスタディの結果、特徴抽出部および予測ヘッドの両方を事前学習済み重みで初期化することが不可欠であることが確認された。ランダム初期化のヘッド（ConvGRU-FreshFC）ではmAPが44.8%にとどまり、著しい性能劣化が生じた。