[論文レビュー] Human Action Recognition using Factorized Spatio-Temporal Convolutional Networks

Lin Sun, Kui Jia+2 more|arXiv (Cornell University)|Oct 2, 2015

Human Pose and Action Recognition参考文献 30被引用数 112

ひとこと要約

本論文では、3次元畳み込みを連続する2次元空間的および1次元時間的畳み込みに分解することで、モデルの複雑さを低減し、学習効率を向上させる、因子化された空間時間的畳み込みネットワーク（FSTCN）を提案する。FSTCNは補助的な学習データを用いず、UCF-101およびHMDB-51で最先端の性能を達成しており、2ストリームCNNよりも平均で1%優れている。

ABSTRACT

Human actions in video sequences are three-dimensional (3D) spatio-temporal signals characterizing both the visual appearance and motion dynamics of the involved humans and objects. Inspired by the success of convolutional neural networks (CNN) for image classification, recent attempts have been made to learn 3D CNNs for recognizing human actions in videos. However, partly due to the high complexity of training 3D convolution kernels and the need for large quantities of training videos, only limited success has been reported. This has triggered us to investigate in this paper a new deep architecture which can handle 3D signals more effectively. Specifically, we propose factorized spatio-temporal convolutional networks (FstCN) that factorize the original 3D convolution kernel learning as a sequential process of learning 2D spatial kernels in the lower layers (called spatial convolutional layers), followed by learning 1D temporal kernels in the upper layers (called temporal convolutional layers). We introduce a novel transformation and permutation operator to make factorization in FstCN possible. Moreover, to address the issue of sequence alignment, we propose an effective training and inference strategy based on sampling multiple video clips from a given action video sequence. We have tested FstCN on two commonly used benchmark datasets (UCF-101 and HMDB-51). Without using auxiliary training videos to boost the performance, FstCN outperforms existing CNN based methods and achieves comparable performance with a recent method that benefits from using auxiliary training videos.

研究の動機と目的

• 人間の行動認識における3次元畳み込みニューラルネットワーク（3D CNN）の高い計算複雑さとデータ依存性を解決すること。
• 3次元畳み込みを空間的および時間的段階に分解することで、空間時間的特徴学習を改善すること。
• 人間の行動におけるシーケンスのアラインメント問題とカテゴリ内変動の課題を克服すること。
• 補助的な学習動画に依存せずに高い精度を達成する深層アーキテクチャを開発すること。
• 新しい因子化および順列変換機構を通じて、空間時間的特徴の有効なエンドツーエンド学習を可能にすること。

提案手法

• FSTCNは2段階のカスケードアーキテクチャを採用しており、最初に2次元空間的特徴学習のための空間的畳み込み層（SCL）を、その後に1次元時間的特徴学習のための時間的畳み込み層（TCL）を配置する。
• 3次元カーネルの分離を可能にする、新しい変換および順列操作子（T-Pオペレータ）を導入する。
• 各動画から複数のクリップを抽出するサンプリングに基づく学習および推論戦略を採用し、異なる行動速度に耐性を持たせ、耐障害性を向上させる。
• SCLおよびTCLからの特徴量は最終分類器層の前に連結され、空間的外観と運動ダイナミクスの両方を統合する。
• 誤差逆伝播を用いてサリエンシー図を可視化し、学習されたフィルタが顔の行動に対して口の領域など意味的に関連する領域に注目していることを確認する。
• t-SNEを用いて特徴埋め込みを可視化し、空間的または時間的特徴のみよりも、空間時間的特徴がより判別力があることを示す。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みを2次元空間的および1次元時間的畳み込みに因子化することで、モデルの複雑さを低減しつつ、性能を維持または向上させることができるか？
• RQ2 提案されたT-Pオペレータは、深層学習フレームワークにおいて3次元カーネルの効果的かつ安定した因子化を可能にするか？
• RQ3 FSTCNアーキテクチャは、補助的な学習動画を使用せずに、標準的なベンチマークで高い精度を達成できるか？
• RQ4 空間的および時間的特徴の組み合わせは、個々の空間的または時間的特徴と比較して、判別力が優れているか？
• RQ5 クリップサンプリング戦略は、変動する行動速度およびシーケンスのアラインメント問題に対して、どの程度耐障害性を向上させるか？

主な発見

• 平均化融合を用いた場合、FSTCNはUCF-101で87.9%、HMDB-51で58.6%の平均精度を達成し、補助データなしで2ストリームCNNを両方のデータセットで1%上回った。
• SVMベースのスコア統合を用いることで、FSTCNはUCF-101で88.1%、HMDB-51で59.1%に到達し、追加の学習動画を使用する手法と同等またはそれを上回る性能を示した。
• t-SNEの可視化結果から、FSTCNが学習した空間時間的特徴は、空間的特徴のみや時間的特徴のみよりも、特に「笑う」や「かむ」のような微細な行動に対してより判別力があることが分かった。
• サリエンシー図は、モデルが顔の行動に対して口の領域に注目するように学習していることを確認しており、効果的な注目メカニズムの学習が行われていることを示している。
• 因子化設計によりカーネルの複雑さが顕著に低減され、限られた動画データでも効果的な学習が可能となり、困難なベンチマークでも優れた一般化性能を示した。
• アブレーションスタディの結果、SCLとTCLの組み合わせが不可欠であることが確認され、両者が互いに補完し合い、全体の性能を向上させていることが分かった。