[論文レビュー] Action Recognition with Joint Attention on Multi-Level Deep Features

Jialin Wu, Gu Wang+2 more|arXiv (Cornell University)|Jul 9, 2016

Human Pose and Action Recognition参考文献 17被引用数 13

ひとこと要約

本稿では、3次元畳み込みネットワークと新規の共同LSTMモジュールを活用して時間的モデリングと頑健性を向上させることで、複数レベルの深層特徴に対する共同アテンションを組み込んだ深層教師ありニューラルネットワークを提案する。モデルはRGB特徴のみを用いてUCF101およびHMDB51で最先端性能を達成し、ベースラインのアテンションモデルよりも最大20.4%の絶対的精度向上を達成した。

ABSTRACT

We propose a novel deep supervised neural network for the task of action recognition in videos, which implicitly takes advantage of visual tracking and shares the robustness of both deep Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN). In our method, a multi-branch model is proposed to suppress noise from background jitters. Specifically, we firstly extract multi-level deep features from deep CNNs and feed them into 3d-convolutional network. After that we feed those feature cubes into our novel joint LSTM module to predict labels and to generate attention regularization. We evaluate our model on two challenging datasets: UCF101 and HMDB51. The results show that our model achieves the state-of-art by only using convolutional features.

研究の動機と目的

• 背景の雑音やクラス内ばらつきに対して頑健である一方で、動画行動認識における時間的ダイナミクスを捉える課題に対処する。
• トラジェクトリーベースや単一ブランチの特徴抽出の限界を克服し、事前学習済みCNNから得られる複数レベルの深層特徴を統合する。
• 3次元畳み込みネットと共同LSTMモジュールの両方の学習を向上させる、新規のアテンション正則化機構を通じて性能を向上させる。
• 2つの新規な共同LSTM構造を用いて、抽象化の異なる複数レベルの特徴を効果的に統合するための適応的統合メカニズムを設計する。

提案手法

• 事前学習済みVGG-16ネットワーク（例：pool4およびconv5_3層）から複数レベルの深層特徴を抽出し、一般的でない視覚的パターンも捉える。
• 抽出された特徴を3次元畳み込みネットワークに供給し、動画クリップ全体における空間的・時間的依存関係をモデル化する。
• 行動ラベルを共同で予測するとともに、特徴の正則化に用いるアテンションマップを生成する新規な共同LSTMモジュールを採用する。
• アテンション学習をガイドするソフト教師付き正則化項を導入し、学習収束性と一般化性能を向上させる。
• 共同LSTM内に、早期統合と遅延統合の2つの統合戦略を実装し、複数レベルの特徴を適応的に統合する。
• アテンション正則化を組み込んだ交差エントロピー損失関数を用いて、エンドツーエンドで全モデルを訓練し、識別力を強化する。

実験結果

リサーチクエスチョン

• RQ1 光流や複雑な特徴工学的特徴に依存せずに、複数レベルの深層特徴に対する共同アテンションが行動認識性能の向上に寄与するか？
• RQ2 アテンション正則化は、3次元畳み込みネットとLSTMコンponentsの両方の学習をどのように向上させるか？
• RQ3 異なるVGG-16層（例：pool4とconv5_3）からの特徴を用いることで、単一レベルの特徴と比較して性能にどのような影響を与えるか？
• RQ4 共同LSTMにおける早期統合と遅延統合戦略は、性能と特徴統合にどのように影響を与えるか？
• RQ5 追加のモodal融合なしに、RGB入力のみを用いても、提案モデルが最先端の手法に並ぶか、それを上回ることができるか？

主な発見

• 提案モデルはUCF101で90.6%のトップ1精度、HMDB51で61.7%を達成し、ベースラインのソフトアテンションモデルよりも20.4%の絶対的精度向上を達成した。
• 異なるVGG-16層（例：pool4とconv5_3）からのマルチブランチ特徴を用いることで性能が顕著に向上し、遅延統合ではHMDB51で61.7%に到達した。
• 2次元畳み込みネットと直接LSTM入力に比べ、3次元畳み込みネットワークはそれぞれ4.4%および4.6%の性能向上を示し、空間的・時間的パターンの捉え具合の有効性を示した。
• アテンション正則化により収束が速まり、訓練損失が低下し、モデルは3エポック目までに安定化した。
• 遅延統合アーキテクチャを備えた共同LSTMは、早期統合よりも高い性能を示し、特徴統合の質の向上と独立性の向上を示した。
• 定性的なアテンションマップでは、モデルが行動に関連する領域（例：手、顔、四肢）に的確に注目していることが確認され、人間の行動キューの認識と整合的であった。