[論文レビュー] Differential Recurrent Neural Networks for Action Recognition

Vivek Veeriah, Naifan Zhuang+1 more|arXiv (Cornell University)|Apr 25, 2015

Human Pose and Action Recognition参考文献 31被引用数 97

ひとこと要約

本稿では、隠れ状態の微分（DoS）をモデル化することで顕著な空間時間的ダイナミクスを捉えることで、アクション認識を向上させる新しいLSTM変種、微分再帰的ニューラルネットワーク（dRNN）を提案する。1階および2階の微分をゲーティング機構に組み込むことで、dRNNは2次元（KTH）および3次元（MSR Action3D）のアクション認識データセットにおいて、標準LSTMおよび競合する非LSTMモデルを上回り、アクションシーケンスに構造的仮定を設けない状態で最先端の精度を達成した。

ABSTRACT

The long short-term memory (LSTM) neural network is capable of processing complex sequential information since it utilizes special gating schemes for learning representations from long input sequences. It has the potential to model any sequential time-series data, where the current hidden state has to be considered in the context of the past hidden states. This property makes LSTM an ideal choice to learn the complex dynamics of various actions. Unfortunately, the conventional LSTMs do not consider the impact of spatio-temporal dynamics corresponding to the given salient motion patterns, when they gate the information that ought to be memorized through time. To address this problem, we propose a differential gating scheme for the LSTM neural network, which emphasizes on the change in information gain caused by the salient motions between the successive frames. This change in information gain is quantified by Derivative of States (DoS), and thus the proposed LSTM model is termed as differential Recurrent Neural Network (dRNN). We demonstrate the effectiveness of the proposed model by automatically recognizing actions from the real-world 2D and 3D human action datasets. Our study is one of the first works towards demonstrating the potential of learning complex time-series representations via high-order derivatives of states.

研究の動機と目的

• 従来のLSTMがアクション認識中に顕著な空間時間的ダイナミクスを捉える能力に限界を示すという問題に対処すること。
• 隠れ状態の高階微分を用いて、動画フレーム間での情報量の変化を明示的にモデル化することで、アクション認識を改善すること。
• 手作業で設計された空間時間的仮定に依存せずに、動的運動パターンに敏感な汎用的RNNアーキテクチャを構築すること。
• 高階状態微分が動画アクション認識のための順序表現学習を強化する有効性を示すこと。

提案手法

• 隠れ状態の連続フレーム間での変化率を捉えるDoS（状態の微分）を、LSTMゲーティング機構の新たな入力として導入する。
• LSTMの入力・出力・忘却ゲートに、1階および2階のDoSを計算・利用するdRNNアーキテクチャを設計する。
• 勾配の消失／爆発問題を緩和しつつ時間的依存性を維持するため、時間に沿った切り捨てバックプロパゲーションを用いてdRNNを学習する。
• HOG3D や HOF といった標準的な空間時間的特徴と統合することで、入力表現の変更なしにエンドツーエンド学習を可能にする。
• 一般化性能と性能を評価するために、2次元および3次元の人体アクション認識データセットにdRNNモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 隠れ状態の微分をモデル化することで、アクション認識における動的運動パターンの表現が向上するか？
• RQ2 LSTMゲートに高階微分（DoS）を組み込むことで、標準LSTMと比較してアクション認識タスクの性能が向上するか？
• RQ3 空間時間的構造に関する強い仮定に依存する専用モデルと比較して、dRNNの性能はいかがなものか？
• RQ4 アーキテクチャの変更なしに、dRNNは異なるアクション認識データセットに一般化できるか？

主な発見

• 2階dRNNはKTH-1データセットで93.96%の精度を達成し、標準LSTM（90.7%）および他のSOTA手法を上回った。
• KTH-2データセットでは2階dRNNが92.12%の精度を記録し、LSTMベースライン（87.78%）および多数の比較モデルを上回った。
• より挑戦的なMSR Action3Dデータセットでは、2階dRNNが92.03%の精度を達成し、被験者間評価でも強力な性能を示した。
• すべてのデータセットにおいてdRNNは標準LSTMを一貫して上回り、顕著な運動ダイナミクスへの感受性が向上していることが示された。
• 3次元深度データに関する幾何的仮定に依存しないにもかかわらず、SNV（93.09%）のような専用モデルと比較して競争力のある結果を達成した。