[論文レビュー] Object Detection in Video with Spatiotemporal Sampling Networks

Gedas Bertasius, Lorenzo Torresani+1 more|arXiv (Cornell University)|Mar 15, 2018

Advanced Neural Network Applications参考文献 6被引用数 30

ひとこと要約

本稿では、空間的・時間的次元にわたり可変畳み込みを用いて隣接フレームからの特徴を学習的にサンプリングするSpatiotemporal Sampling Network (STSN) を提案する。この手法は、光流体の教師信号や複雑な流れネットワークの学習を必要とせず、エンド・トゥ・エンドで微分可能な特徴集約を実現することで、遮蔽や運動ブラーに対する耐性を向上させ、ImageNet VID で最先端の精度を達成する。

ABSTRACT

We propose a Spatiotemporal Sampling Network (STSN) that uses deformable convolutions across time for object detection in videos. Our STSN performs object detection in a video frame by learning to spatially sample features from the adjacent frames. This naturally renders the approach robust to occlusion or motion blur in individual frames. Our framework does not require additional supervision, as it optimizes sampling locations directly with respect to object detection performance. Our STSN outperforms the state-of-the-art on the ImageNet VID dataset and compared to prior video object detection methods it uses a simpler design, and does not require optical flow data for training.

研究の動機と目的

• 運動ブラー、遮蔽、ボケなどの条件下で、静止画像検出器の性能が低下する問題に対処すること。
• 光流体や追加の教師信号に依存せずに、時間情報を効果的に活用する動画オブジェクト検出フレームワークを構築すること。
• 光流体と検出の同時学習を必要としない、より単純でエンド・トゥ・エンドで学習可能なアーキテクチャを設計し、既存手法を上回ること。
• 時間的に隣接するフレームから関連する特徴を学習的にサンプリングすることで、困難な動画フレームでも頑健な検出を可能にすること。

提案手法

• STSN は空間的および時間的次元にわたる可変畳み込みを用い、隣接する動画フレームからの特徴をサンプリングする。
• ネットワークは、オブジェクト検出性能を最適化することで、光流体の教師信号を明示的に必要とせずに、最適なサンプリング位置をエンド・トゥ・エンドで学習する。
• サンプリングブロックは、サポートフレーム内のどの特徴点を参照フレームでの活性化計算に使用するかを決定するオフセットベクトルを予測する。
• モデルは、バウンディングボックスのアノテーション付き動画フレーム上でエンド・トゥ・エンドで学習され、時間的整合性が損失関数から自然に生じる。
• 分離された光流体ネットワークの必要性を回避することで、学習の複雑さとデータ要件を低減する。
• 微分可能なサンプリングによる特徴集約が行われ、時間的接続を介した逆伝播が可能になる。

実験結果

リサーチクエスチョン

• RQ1 光流体の教師信号なしに、隣接フレームからの特徴を学習的にサンプリングすることで、オブジェクト検出精度を向上させられるか？
• RQ2 エンド・トゥ・エンドで学習された時間的・空間的サンプリングは、後処理や流れベースの集約を用いる手法と比べてどのように異なるか？
• RQ3 時間的特徴サンプリングは、遮蔽や運動ブラーに対する検出の頑健性をどの程度向上させられるか？
• RQ4 光流体データを必要とする複雑なマルチストリームモデルに比べて、より単純で統合されたアーキテクチャが優れた性能を発揮できるか？

主な発見

• STSN は ImageNet VID データセットで最先端の性能を達成し、光流体を用いる FGFA よりも優れた性能を示した。
• 遮蔽、運動ブラー、ボケが生じたフレームにおいても、時間的に隣接するフレームからの特徴を活用することで、検出精度が顕著に向上した。
• 光流体データの学習を経ていないにもかかわらず、物体の位置に整合する動きに敏感なサンプリングオフセットを学習し、正確に予測した。
• 静的1フレーム検出器が行う誤検出（遮蔽された物体の誤分類や部分的に見えないインスタンスの見逃し）を、本手法は是正した。
• アブレーションスタディにより、時間的・空間的サンプリング機構が、特に困難な視覚的条件下で性能向上に不可欠であることが確認された。