[論文レビュー] Contextual Multi-Scale Region Convolutional 3D Network for Activity Detection

Yancheng Bai, Huijuan Xu+2 more|arXiv (Cornell University)|Jan 28, 2018

Human Pose and Action Recognition参考文献 24被引用数 15

ひとこと要約

本稿では、文脈的モデリングを用いたマルチスケール、エンド・ツー・エンドでトレーニング可能なフレームワーク、文脈的マルチスケール領域畳み込み3次元ネットワーク（CMS-RC3D）を提案する。時間的特徴ピラミッドを用いることで、非トリムド動画におけるさまざまな継続時間を持つアクティビティを検出する。文脈的モデリングを用いたスケール固有の検出器を学習することで、THUMOS14で最先端の性能を達成し、ActivityNetでも改善された結果を示し、THUMOS14では最大4.0% mAP向上、ActivityNetでは平均mAPで5.0%向上を達成した。

ABSTRACT

Activity detection is a fundamental problem in computer vision. Detecting activities of different temporal scales is particularly challenging. In this paper, we propose the contextual multi-scale region convolutional 3D network (CMS-RC3D) for activity detection. To deal with the inherent temporal scale variability of activity instances, the temporal feature pyramid is used to represent activities of different temporal scales. On each level of the temporal feature pyramid, an activity proposal detector and an activity classifier are learned to detect activities of specific temporal scales. Temporal contextual information is fused into activity classifiers for better recognition. More importantly, the entire model at all levels can be trained end-to-end. Our CMS-RC3D detector can deal with activities at all temporal scale ranges with only a single pass through the backbone network. We test our detector on two public activity detection benchmarks, THUMOS14 and ActivityNet. Extensive experiments show that the proposed CMS-RC3D detector outperforms state-of-the-art methods on THUMOS14 by a substantial margin and achieves comparable results on ActivityNet despite using a shallow feature extractor.

研究の動機と目的

• 非トリムド動画における変動する時間的継続時間を持つアクティビティの検出という課題に対処すること。
• 従来の手法が抱える固定時間分解能特徴マップの制限を克服すること。
• 時間的スケール間の文脈的情報を統合することで、検出精度を向上させること。
• 1回の順方向伝搬で動作するマルチスケール検出器をエンド・ツー・エンドでトレーニング可能にする仕組みを実現すること。
• 深層2ストリーム特徴に依存せずに、公開ベンチマークで最先端の性能を達成すること。

提案手法

• 畳み込み層を用いて、異なる時間的分解能の特徴マップを生成するマルチスケール時間的特徴ピラミッドを構築する。
• ピラミッドの各レベルで、別個の領域提案ネットワークと分類器をトレーニングし、特定の継続時間範囲内のアクティビティを検出する。
• 周囲の時間的セグメントからの文脈的情報をアクティビティ分類器に統合することで、認識精度を向上させる。
• すべてのピラミッドレベルでエンド・ツー・エンドのトレーニングを実施し、提案生成と分類の共同最適化を可能にする。
• 1パス推論戦略を採用し、バックボーンネットワークが1回の処理でマルチスケール特徴を生成する。
• 分類のための特徴表現を強化するため、特徴統合を遅延融合機構を用いて文脈的モデリングを統合する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴ピラミッドは、変動する時間的継続時間を持つアクティビティの検出を向上させることができるか？
• RQ2 スケール固有の検出器のエンド・ツー・エンドトレーニングは、固定分解能ベースラインと比較して性能を向上させるか？
• RQ3 周囲の時間的セグメントからの文脈的情報は、非トリムド動画におけるアクティビティ認識を向上させることができるか？
• RQ4 1パス推論戦略は、多様な時間的スケールを扱いながらも高い精度を維持できるか？
• RQ5 提案手法は、標準ベンチマークで最先端の検出器と比較してどうなるか？

主な発見

• CMS-RC3Dは、ベースラインのRC3Dモデルと比較して、THUMOS14におけるmAP@0.5で4.0%の向上を達成した。
• THUMOS14では、先行する最先端手法を大きく上回り、特に高いIoU閾値での性能向上が顕著であった。
• ActivityNet v1.3では、ベースラインのRC3Dモデルと比較して平均mAPが5.0%向上した。
• 浅いC3D特徴抽出器を用いても、より深い2ストリームネットワークを用いた手法と同等の結果を達成した。
• 定性的な結果から、多様なアクティビティ継続時間にわたり、安定した検出が可能であり、開始時刻と終了時刻の正確な局所化が可能であることが示された。
• アブレーションスタディの結果、マルチスケール表現と文脈的モデリングの両方が、性能向上の鍵であることが確認された。