[論文レビュー] Untrimmed Video Classification for Activity Detection: submission to ActivityNet Challenge

Gurkirt Singh, Fabio Cuzzolin|arXiv (Cornell University)|Jul 7, 2016

Human Pose and Action Recognition参考文献 7被引用数 100

ひとこと要約

本論文は、未トリミング動画における時系列アクティビティ検出のため、未トリミングの動画レベル分類を用いてフレームレベルの提案生成を動的計画法で導く2段階アプローチを提案し、ActivityNet 2016で準優勝を達成した。

ABSTRACT

Current state-of-the-art human activity recognition is focused on the classification of temporally trimmed videos in which only one action occurs per frame. We propose a simple, yet effective, method for the temporal detection of activities in temporally untrimmed videos with the help of untrimmed classification. Firstly, our model predicts the top k labels for each untrimmed video by analysing global video-level features. Secondly, frame-level binary classification is combined with dynamic programming to generate the temporally trimmed activity proposals. Finally, each proposal is assigned a label based on the global label, and scored with the score of the temporal activity proposal and the global score. Ultimately, we show that untrimmed video classification models can be used as stepping stone for temporal detection.

研究の動機と目的

• 時間的に未トリミングな動画における時系列アクティビティ検出を、単一アクションのフレームを超えて動機づける。
• アクティビティ提案を生成するためのシンプルな融合ベースの未トリミング分類パイプラインを提案する。
• 未トリミング動画分類が時系列検出の踏み台となり得ることを示す。
• ActivityNetで評価して競争力のある性能を示し、オンライン検出への拡張について議論する。

提案手法

• ビデオレベル特徴量を抽出する（Imagenet Shuffle、MBHグローバル特徴、平均プーリングされたC3Dフレームレベルスコア）。
• 各特徴タイプごとにクラスごとに1対多の線形SVMを訓練して、S^i、S^m、S^3 のスコアを得る。
• 積み上げられたスコア上で線形SVMのメタ分類器とビデオレベルのスコアを融合して、未トリミング分類スコアS^sを得る。
• フレームレベルのC3D特徴に対してクラスごとに二値ランダムフォレスト分類器を訓練し、フレームレベルの正例スコアs^r_tを得る。
• フレームスコアの和から境界ペナルティを引いた値を最大化するよう、区分的に一定のラベリングを選択するDP最適化としてアクティビティ提案生成を定式化する。
• トップのアクティビティ提案にクラスラベルを割り当て、グローバルなビデオ分類スコアと組み合わせて検出を生成する。

実験結果

リサーチクエスチョン

• RQ1 未トリミング動画において、未トリミングの動画レベル分類を活用して時系列アクティビティの境界を検出できるか？
• RQ2 フレームレベルの二値決定から正確なアクティビティ提案を生成するDPベースのフレームワークはどれほど有効か？
• RQ3 局所（フレームレベル）とグローバル（ビデオレベル）のスコアを組み合わせることでActivityNetでのアクティビティ検出性能は向上するか？
• RQ4 トップkスコアでSVMスコアを正規化することが未トリミング分類性能に与える影響は何か？

主な発見

方法	検証 TOP-1	検証 TOP-3	検証 mAP	テスト TOP-1	テスト TOP-3	テスト mAP
Caba et al. (ActivityNet baseline)	-	-	42.20%	-	-	-
Proposed (untrimmed classification)	76.89%	89.25%	81.99%	77.08%	89.38%	82.49%

• 提案された融合を用いた未トリミング分類は検証時に高いTOP-1およびTOP-3を達成し、未トリミング分類でテスト時にも強力な結果を示す。
• ActivityNetチャレンジでは、提案手法は検証で引用基線を上回り（TOP-1 76.89%、TOP-3 89.25%、mAP 81.99%）、テストでは TOP-1 77.08%、TOP-3 89.38%、mAP 82.49% を達成する。
• DPベースの最適化によって生成されたアクティビティ提案は地上 truthとよく一致し、効果的な時系列局在を可能にする。
• 1動画あたりトップ2のアクティビティ提案は、トップの未トリミング分類クラスでラベル付けされ、グローバルスコアと提案スコアの積で評価される(S_{c}^{s} * S_{a}).
• DPはフレームレベルの二値決定から連続的なアクティビティ提案を生成するための効率的な解法を提供する。
• TIoUベースの評価を含み、ベースラインより顕著な改善を示す（検証: 0.1–0.5 TIoU閾値）。
• 本手法はオンライン検出および同時検出/分類の拡張の可能性を示す。