[論文レビュー] S3D: Single Shot multi-Span Detector via Fully 3D Convolutional Networks

Da Zhang, Xiyang Dai+2 more|arXiv (Cornell University)|Jul 21, 2018

Anomaly Detection Techniques and Applications被引用数 3

ひとこと要約

S3D は、未加工の動画から活動の期間とその正確な持続時間を直接予測する、完全に3次元畳み込みネットワークを用いた1ショットでエンド・ツー・エンドの時間的アクティビティ検出システムを提案する。THUMOS'14 において 1271 FPS の高速な推論速度を達成し、より単純で統合的なアーキテクチャであるにもかかわらず、マルチステージ手法を上回る最先端の性能を発揮する。

ABSTRACT

In this paper, we present a novel Single Shot multi-Span Detector for temporal activity detection in long, untrimmed videos using a simple end-to-end fully three-dimensional convolutional (Conv3D) network. Our architecture, named S3D, encodes the entire video stream and discretizes the output space of temporal activity spans into a set of default spans over different temporal locations and scales. At prediction time, S3D predicts scores for the presence of activity categories in each default span and produces temporal adjustments relative to the span location to predict the precise activity duration. Unlike many state-of-the-art systems that require a separate proposal and classification stage, our S3D is intrinsically simple and dedicatedly designed for single-shot, end-to-end temporal activity detection. When evaluating on THUMOS'14 detection benchmark, S3D achieves state-of-the-art performance and is very efficient and can operate at 1271 FPS.

研究の動機と目的

• 分離されたプロポーザル生成段階と分類段階を不要とする統合的でエンド・ツー・エンドのフレームワークを構築すること。
• 完全に3次元畳み込みネットワークを活用することで、長時間の未加工動画において高速な推論を実現すること。
• 複数の時間的スケールにわたるデフォルトスパンから直接、正確なアクティビティ境界を回帰することで、検出精度を向上させること。
• より単純な1ショット設計を用いて、THUMOS'14 などの標準ベンチマークで最先端の性能を達成すること。

提案手法

• S3D は、完全に3次元畳み込みネットワーク（Conv3D）を用いて、動画クリップ全体をエンコードし、空間的・時間的特徴をエンド・ツー・エンドで捉える。
• 潜在的なアクティビティ持続時間のカバーを可能とするために、さまざまな時間的位置とスケールにわたるデフォルトスパンの集合に出力空間を離散化する。
• 各デフォルトスパンに対して、アクティビティカテゴリの存在スコアと、開始時刻および終了時刻を精緻に修正するオフセットを予測する。
• 1回の順方向伝搬で訓練されるため、プロポーザル生成と分類の両方を統合的に学習可能である。
• デフォルトスパン上で分類と回帰の目的関数を組み合わせたマルチタスク損失を最適化することでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 完全に3次元畳み込みネットワークは、高速な推論速度を維持しつつ、時間的アクティビティ検出で最先端の性能を達成できるか？
• RQ2 1ショットでエンド・ツー・エンドのアーキテクチャは、マルチステージパイプラインに比べ、精度と効率の両面で優れているか？
• RQ3 複数の時間的スケールと位置にわたるデフォルトスパンは、未加工動画内の多様なアクティビティ持続時間のカバーを効果的に行えるか？
• RQ4 境界調整のための回帰ヘッドの統合は、固定アンカー手法と比較して、局所化の精度をどのように向上させるか？

主な発見

• S3D は、THUMOS'14 の時間的アクティビティ検出ベンチマークで最先端の性能を達成した。
• モデルは1271 FPS で動作し、リアルタイムアプリケーションに適した優れた推論効率を示した。
• 1ショットでエンド・ツー・エンドの設計により、分離されたプロポーザル生成段階と分類段階の必要性が不要になった。
• 完全に3次元畳み込みの活用により、生動画クリップから効果的な空間的・時間的特徴の学習が可能になった。