[論文レビュー] Exploiting the ConvLSTM: Human Action Recognition using Raw Depth Video-Based Recurrent Neural Networks

A. Sánchez-Caballero, David Fuentes-Jiménez+1 more|arXiv (Cornell University)|Jun 13, 2020

Human Pose and Action Recognition参考文献 60被引用数 22

ひとこと要約

本論文は、空間的・時間的特徴を捉えるために、状態なしおよび状態ありの長短期間記憶モードを活用する、生の深度動画を直接処理する2つのConvLSTMベースの再帰的ニューラルネットワークを提案する。状態ありモデルは、1ビデオあたり0.89秒の推論時間でNTU RGB+Dで80.43%の精度を達成し、標準的および状態なしバージョンを顕著に上回りながら、低い計算コストを維持している。

ABSTRACT

As in many other different fields, deep learning has become the main approach in most computer vision applications, such as scene understanding, object recognition, computer-human interaction or human action recognition (HAR). Research efforts within HAR have mainly focused on how to efficiently extract and process both spatial and temporal dependencies of video sequences. In this paper, we propose and compare, two neural networks based on the convolutional long short-term memory unit, namely ConvLSTM, with differences in the architecture and the long-term learning strategy. The former uses a video-length adaptive input data generator (\emph{stateless}) whereas the latter explores the \emph{stateful} ability of general recurrent neural networks but applied in the particular case of HAR. This stateful property allows the model to accumulate discriminative patterns from previous frames without compromising computer memory. Experimental results on the large-scale NTU RGB+D dataset show that the proposed models achieve competitive recognition accuracies with lower computational cost compared with state-of-the-art methods and prove that, in the particular case of videos, the rarely-used stateful mode of recurrent neural networks significantly improves the accuracy obtained with the standard mode. The recognition accuracies obtained are 75.26\% (CS) and 75.45\% (CV) for the stateless model, with an average time consumption per video of 0.21 s, and 80.43\% (CS) and 79.91\%(CV) with 0.89 s for the stateful version.

研究の動機と目的

• 生の深度動画シーケンスにおける長期間の空間的・時間的依存関係を効率的にモデル化する課題に対処すること。
• ConvLSTMネットワークの未利用に近い状態ありモードを活用し、全動画シーケンスにわたり特徴を保持・蓄積すること。
• モーションマップやスケルトン抽出などの前処理を必要とせず、生の深度動画を直接処理するエンドツーエンドで訓練可能なモデルの開発。
• 既存の動的画像ベース手法と比較して、高い精度を維持しながら計算コストを低減すること。
• 状態ありConvLSTMの長距離時間的モデリングにおける有効性を、複雑な行動認識タスクにおいて検証すること。

提案手法

• 3次元テンソル入力を用いて、空間的および時間的特徴を同時に学習できるように、標準のLSTMゲートを畳み込み演算に置き換えたConvLSTMユニットを採用する。
• 可変長の動画長に適応可能な状態なしの入力データジェネレータを用い、シーケンスの切り出しを伴わずに効率的なミニバッチ学習を可能にする。
• 隠れ状態およびセル状態を全動画シーケンスにわたり維持する状態ありConvLSTMの変種を実装し、長期的な時間的文脈を保持する。
• 学習率範囲テスト、サイクル学習率スケジューリング、バッチ正則化を含むディープラーニング最適化技術を適用し、学習の安定性と収束性を向上させる。
• NTU RGB+Dデータセットの生の深度動画シーケンスに限定して、3次元畳み込みおよび平均プーリング分類ヘッドを用いてモデルを学習・評価する。
• 深度モーションマップや動的画像のような中間表現を生成せずに、全長の動画をエンドツーエンドで処理する。

実験結果

リサーチクエスチョン

• RQ1 状態ありConvLSTMアーキテクチャは、生の深度動画における長期間の空間的・時間的パターンを、人間の行動認識に有効に学習できるか？
• RQ2 精度および計算効率の観点から、状態ありConvLSTMは標準的（状態なし）ConvLSTMと比較してどのように異なるか？
• RQ3 手作業で作成された表現（例：モーションマップや動的画像）に依存する手法と比較して、生の深度動画に対するエンドツーエンド学習は性能を向上させるか？
• RQ4 RNNの状態ありモードを活用することで、長く複雑な動画シーケンスにおける認識精度はどの程度向上するか？
• RQ5 提案手法は、最先端の動的画像ベース手法と比較して、顕著に短い推論時間で競争力ある精度を達成できるか？

主な発見

• 状態ありConvLSTMモデルは、NTU RGB+Dデータセットで80.43%のトップ-1精度を達成し、状態なしバージョン（75.26%）を上回り、長期記憶保持の有効性を示している。
• 状態ありモデルは、切り出しを伴わず全動画シーケンスを処理するため、全フレームにわたる空間的・時間的文脈を保持でき、これが高い精度に寄与している。
• 状態なしConvLSTMモデルは、1ビデオあたり平均0.21秒の推論時間で75.26%の精度を達成し、状態ありバージョンよりも顕著に高速である。
• 状態ありモデルの推論時間（1ビデオあたり0.89秒）は、状態なしバージョンより遅いが、リアルタイムアプリケーションに適した水準にある。
• 提案手法は、動的画像ベース手法と比較して著しく効率的であり、1ビデオあたり最大62.03秒を要するが、より高い精度を達成している。
• 本研究は、RNNのめったに使われない状態ありモードが、特に長期間のシーケンスにおいて、行動認識タスクにおける性能向上に有意義な貢献をすることを確認した。