[論文レビュー] Lattice Long Short-Term Memory for Human Action Recognition

Lin Sun, Kui Jia+4 more|arXiv (Cornell University)|Aug 13, 2017

Human Pose and Action Recognition参考文献 36被引用数 21

ひとこと要約

本論文では、RGBおよびオプティカルフローの両モダリティを用いて入力ゲートとフォグェートを共同で訓練することで、空間的に変化するメモリセル遷移を学習する新しいLSTMアーキテクチャ、Lattice-LSTM ($\textrm{L}^\textrm{2}\textrm{STM}$) を提案する。この手法により、動画行動認識における長期的動きモデリングが向上し、モデル複雑度の増加を最小限に抑えながらUCF-101（93.6%）およびHMDB-51（66.2%）で最先端の性能を達成した。

ABSTRACT

Human actions captured in video sequences are three-dimensional signals characterizing visual appearance and motion dynamics. To learn action patterns, existing methods adopt Convolutional and/or Recurrent Neural Networks (CNNs and RNNs). CNN based methods are effective in learning spatial appearances, but are limited in modeling long-term motion dynamics. RNNs, especially Long Short-Term Memory (LSTM), are able to learn temporal motion dynamics. However, naively applying RNNs to video sequences in a convolutional manner implicitly assumes that motions in videos are stationary across different spatial locations. This assumption is valid for short-term motions but invalid when the duration of the motion is long. In this work, we propose Lattice-LSTM (L2STM), which extends LSTM by learning independent hidden state transitions of memory cells for individual spatial locations. This method effectively enhances the ability to model dynamics across time and addresses the non-stationary issue of long-term motion dynamics without significantly increasing the model complexity. Additionally, we introduce a novel multi-modal training procedure for training our network. Unlike traditional two-stream architectures which use RGB and optical flow information as input, our two-stream model leverages both modalities to jointly train both input gates and both forget gates in the network rather than treating the two streams as separate entities with no information about the other. We apply this end-to-end system to benchmark datasets (UCF-101 and HMDB-51) of human action recognition. Experiments show that on both datasets, our proposed method outperforms all existing ones that are based on LSTM and/or CNNs of similar model complexities.

研究の動機と目的

• 標準LSTMが動画内の非定常的長期的動きダイナミクスをモデル化する能力に限界を示す問題に対処すること。
• モデル複雑度を著しく増加させることなく、動画行動認識における時間的モデリング能力を向上させること。
• 2ストリームアーキテクチャにおいて共有された制御ゲートを通じて、RGBとオプティカルフローの両モダリティの共同学習を可能にすること。
• RNNが短期的および長期的時間的ダイナミクスを学習する能力を向上させるためのサンプリング戦略を開発すること。
• LSTMベースのアーキテクチャを用いて、標準ベンチマーク行動認識データセットで最先端の性能を達成すること。

提案手法

• 空間位置ごとに独立した隠れ状態遷移を学習することで、メモリセル内の空間的に変化する重ね合わせを可能にするLattice-LSTM ($\textrm{L}^\textrm{2}\textrm{STM}$) を提案。
• 入力ゲートとフォグェートを共有し、RGBとオプティカルフローの両入力で共同訓練する2ストリームアーキテクチャを導入。これにより、メモリセルへの情報フローがマルチモーダルに制御可能になる。
• 長期間および短期間のクリップをランダムにサンプリングする新しい長短期サンプリング戦略を採用。これにより時間的データの拡張が可能となり、多様な時間的ダイナミクスの学習が向上する。
• 標準LSTMの再帰的関係を改変し、空間的に変化するメモリセル更新を可能にすることで、複雑で非定常的な動きパターンのモデリングを強化。
• 事前学習済みのCNNから得られる特徴マップをLattice-LSTMネットワークの入力として用い、UCF-101およびHMDB-51でエンドツーエンドの訓練を実施。
• 局所的に重ね合わされたメモリセル機構を導入。これにより、隠れ状態の空間的変化する組み合わせを通じて、複雑な動きダイナミクスを捉える能力が向上する。

実験結果

リサーチクエスチョン

• RQ1 標準LSTMおよびConvLSTMと比較して、修正されたLSTMアーキテクチャが動画内の非定常的長期的動きダイナミクスをよりよくモデル化できるか？
• RQ2 RGBとオプティカルフローの両方を用いて入力ゲートとフォグェートを共同で訓練することで、独立したストリームを扱う場合と比較して行動認識性能が向上するか？
• RQ3 長期間および短期間のクリップを組み合わせた新しいサンプリング戦略が、RNNの時間的ダイナミクス学習能力を向上させられるか？
• RQ4 空間的に変化するメモリセル遷移メカニズムが、複雑な動きパターンのモデリングをどの程度向上させるか？
• RQ5 提案されたLattice-LSTMアーキテクチャは、UCF-101およびHMDB-51といった標準ベンチマークで、同等のモデル複雑度のもとで最先端の性能を達成できるか？

主な発見

• Lattice-LSTMはUCF-101で93.6%、HMDB-51で66.2%の精度を達成し、同程度の複雑度を持つ既存のLSTMおよびCNNベースの手法をすべて上回った。
• 局所的に重ね合わされたメモリセルの追加により、標準のVideoLSTMと比較してUCF-101で3.8%、HMDB-51で4.5%の性能向上が達成された。
• 入力ゲートとフォグェートのマルチモーダルな共有訓練により、空間ネットワークでは1.0%、時間ネットワークでは0.5%の性能向上が見られ、特に空間モデリングに大きな利益をもたらした。
• 長短期サンプリング戦略の導入により、標準サンプリングと比較してUCF-101で0.8%、HMDB-51で0.2%の精度向上が達成された。
• 100万件のSportsデータでの事前学習を用いない状態でも、Lattice-LSTMはVideoLSTM や TwoLSTM といった事前学習に依存する手法を上回った。
• Lattice-LSTMはすべてのLSTMに類似したアーキテクチャの中で最先端の性能を達成しており、TSN や ST-ResNet といったより複雑なモデルに対しても競争力を持つ結果となった。