[論文レビュー] Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos

Rui Hou, Chen Chen+1 more|arXiv (Cornell University)|Mar 30, 2017

Human Pose and Action Recognition参考文献 24被引用数 58

ひとこと要約

エンドツーエンドの3D-CNNフレームワーク（T-CNN）は、Tube Proposal NetworkとTube-of-Interest poolingを用いて、3Dチューブ提案を生成・連結することで、動画内のアクションを検出・局在化します。

ABSTRACT

Deep learning has been demonstrated to achieve excellent results for image classification and object detection. However, the impact of deep learning on video analysis (e.g. action detection and recognition) has been limited due to complexity of video data and lack of annotations. Previous convolutional neural networks (CNN) based video action detection approaches usually consist of two major steps: frame-level action proposal detection and association of proposals across frames. Also, these methods employ two-stream CNN framework to handle spatial and temporal feature separately. In this paper, we propose an end-to-end deep network called Tube Convolutional Neural Network (T-CNN) for action detection in videos. The proposed architecture is a unified network that is able to recognize and localize action based on 3D convolution features. A video is first divided into equal length clips and for each clip a set of tube proposals are generated next based on 3D Convolutional Network (ConvNet) features. Finally, the tube proposals of different clips are linked together employing network flow and spatio-temporal action detection is performed using these linked video proposals. Extensive experiments on several video datasets demonstrate the superior performance of T-CNN for classifying and localizing actions in both trimmed and untrimmed videos compared to state-of-the-arts.

研究の動機と目的

• 動画におけるエンドツーエンドの空間-時間アクション検出の必要性を動機づける。
• 動画クリップ内のアクションを直接局在化し認識する統一的な3D-CNNフレームワークを提案する。
• 3D特徴量からチューブ提案を生成するTube Proposal Network (TPN) を導入する。
• 可変長のチューブ提案に対して固定長の特徴量を生成するTube-of-Interest (ToI) pooling を開発する。
• トリム済みおよび未トリミングのビデオデータセットで最先端の性能を示す。

提案手法

• 3D ConvNetで動画クリップを処理し、時空間的特徴キューブを抽出する。
• Tube Proposal Network (TPN) によってアクション度スコア付与とk-meansで学習されたアンカー箱を用い、クリップごとにチューブ提案を生成する。
• 隣接するクリップ間でチューブ提案をアクション度とオーバーラップに基づくスコアリングとネットフローで連結する。
• ToI pooling を適用して連結されたチューブ提案から固定長特徴を得てアクション分類を行う。
• TPNと認識ネットワークの交互更新でエンドツーエンドを訓練し、次元合わせには1x1 convを用い、最終的な全結合層でbbox回帰とアクション分類を行う。
• temporal skip pooling で畳み込み5の提案を8フレームごとに conv2 の特徴チューブへマッピングし、フレーム順序情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの3D C N N フレームワークは、二流派ストリームやフレームレベルの提案に頼らず、動画入力から直接アクションを局在化・認識することができるのか？
• RQ2 データ駆動型アンカー箱を用いたTube Proposal Network は、フレームベースの提案と比較して空間-時間的アクション局在化を改善するのか？
• RQ3 ToI pooling は可変長のチューブに対して固定長の特徴を効果的に生成し、頑健なアクション分類を可能にするのか？
• RQ4 temporal skip pooling は時間的順序情報を保持し、局在精度を改善するのか？
• RQ5 T-CNN は複数のデータセットにおいて、トリム済みおよび未トリミングの動画でどのようにパフォーマンスを示すのか？

主な発見

• T-CNN はトリムデータセットの UCF-Sports、J-HMDB、UCF-101 および未トリミングの THUMOS’14 データセットで最先端の性能を達成する。
• 3D ConvNet ベースのチューブ提案と ToI pooling を用いることで、アクション局在化と認識が改善される。
• Temporal skip pooling は時間的順序情報を保持し、局在精度を向上させる。
• 学習可能なアンカー（k-means による）を用いた3Dボリューム上で動作するエンドツーエンド手法は、フレームレベルの提案や2ストリームアーキテクチャに依存する方法よりも優れている。
• 本手法は高いアクション認識精度を示す：UCF-Sports で 95.7%、J-HMDB で 67.2%、UCF-101（24 アクション）で 94.4% を達成。
• THUMOS’14 ではネガティブミニングがさらなる性能向上をもたらす。