[論文レビュー] An Information-rich Sampling Technique over Spatio-Temporal CNN for Classification of Human Actions in Videos

S. H. Shabbeer Basha, Viswanath Pulabaigari+1 more|arXiv (Cornell University)|Feb 6, 2020

Human Pose and Action Recognition被引用数 6

ひとこと要約

本稿では、ガウス重み付き和を用いて動画の連続フレームを集約する情報豊富なサンプリング手法を提案する。3D CNNとLSTMアーキテクチャを組み合わせることで、KTHおよびWEIZMANNデータセットで最先端の性能を達成し、交差検証では95.27%（±0.45）の正確さ、転移学習を用いると95.86%を達成した。

ABSTRACT

We propose a novel scheme for human action recognition in videos, using a 3-dimensional Convolutional Neural Network (3D CNN) based classifier. Traditionally in deep learning based human activity recognition approaches, either a few random frames or every $k^{th}$ frame of the video is considered for training the 3D CNN, where $k$ is a small positive integer, like 4, 5, or 6. This kind of sampling reduces the volume of the input data, which speeds-up training of the network and also avoids over-fitting to some extent, thus enhancing the performance of the 3D CNN model. In the proposed video sampling technique, consecutive $k$ frames of a video are aggregated into a single frame by computing a Gaussian-weighted summation of the $k$ frames. The resulting frame (aggregated frame) preserves the information in a better way than the conventional approaches and experimentally shown to perform better. In this paper, a 3D CNN architecture is proposed to extract the spatio-temporal features and follows Long Short-Term Memory (LSTM) to recognize human actions. The proposed 3D CNN architecture is capable of handling the videos where the camera is placed at a distance from the performer. Experiments are performed with KTH and WEIZMANN human actions datasets, whereby it is shown to produce comparable results with the state-of-the-art techniques.

研究の動機と目的

• 3D CNN向けのフレームサンプリング手法の改善を通じて、動画内の人物行動認識を向上させること。
• 従来のフレームサンプリング（例：ランダムまたはkフレームおきのサンプリング）の限界を是正し、重要な運動情報を損なわないようにすること。
• 長時間の動画シーケンスにおける空間的・時間的ダイナミクスを保持する、堅牢な特徴抽出パイプラインの開発。
• KTHおよびWEIZMANNデータセットを用いたベンチマーク評価を、交差検証および転移学習の設定下で実施すること。

提案手法

• サイズkのガウスカーネルを用いて、連続するkフレームをガウス重み付き和で1つのフレームに集約する。
• 集約されたフレームから空間的・時間的パターンの共同学習を可能にするために、3D CNNを用いて空間的・時間的特徴を抽出する。
• 抽出された特徴の系列的依存関係をモデル化するため、長短期記憶（LSTM）ネットワークを統合し、行動分類の性能を向上させる。
• KTHおよびWEIZMANNデータセット上で、事前学習済み3D CNNモデルの最後の2つの全結合層を微調整することで、転移学習を実装する。
• 最適なフレーム集約戦略を特定するため、ガウスカーネルサイズ（3から8の範囲）を最適化する。
• 5分割交差検証を適用し、分類正確さを主な指標として性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウス重み付きフレーム集約は、ランダムまたは一様なフレームサンプリングに比べて、行動認識の正確さでどのように優れているか？
• RQ2 動画行動認識における連続フレームの集約に最適なガウスカーネルサイズは何か？
• RQ3 提案手法の3D CNNとLSTMの組み合わせは、標準的な人物行動認識ベンチマークで、既存の最先端の深層学習モデルを上回る性能を示すか？
• RQ4 転移学習により、WEIZMANNおよびKTHのような小さなデータセットで、性能はどの程度向上するか？

主な発見

• 5分割交差検証を用いた場合、KTHデータセットで95.27%（±0.45）の分類正確さを達成し、多数の最先端手法を上回った。
• 転移学習を適用した場合、KTHデータセットで95.86%（±0.3）の正確さを達成し、関連するデータセットでの微調整の有効性を示した。
• フレーム集約の最適なガウスカーネルサイズは5と特定され、全テストサイズ（3〜8）の中で最高の性能を示した。
• トレーニング可能な全結合層の数を増やすと、特に小さなデータセットでは過学習が生じ、汎化性能が低下する傾向が示された。
• 手作業で特徴を抽出する手法（例：Bag of Expressions（BoE）やHistogram of Oriented Optical Flow（HOOF））と同等の性能を示したが、深層学習に依存するのみであった。
• 両データセットにおいて、転移学習は性能をわずかに向上させた。これは、事前学習モデルを最小限の再トレーニングで新しい行動認識タスクに効果的に適応できることを示している。