[論文レビュー] Attention-based Temporal Weighted Convolutional Neural Network for Action Recognition

Jinliang Zang, Le Wang+5 more|arXiv (Cornell University)|Mar 19, 2018

Human Pose and Action Recognition参考文献 41被引用数 17

ひとこと要約

本論文は、意味的に重要な動画スニペットに注目するために学習可能な時系列注目メカニズムを適用することで、動画行動認識を向上させる注目ベースの時系列重み付き畳み込みニューラルネットワーク（ATW）を提案する。マルチストリームCNNにソフト注目メカニズムによる時系列重み付けを統合することで、エンド・ツー・エンドの学習が可能となり、SOTAの性能を達成し、UCF-101で94.6%、HMDB-51で70.5%の精度を達成した。

ABSTRACT

Research in human action recognition has accelerated significantly since the introduction of powerful machine learning tools such as Convolutional Neural Networks (CNNs). However, effective and efficient methods for incorporation of temporal information into CNNs are still being actively explored in the recent literature. Motivated by the popular recurrent attention models in the research area of natural language processing, we propose the Attention-based Temporal Weighted CNN (ATW), which embeds a visual attention model into a temporal weighted multi-stream CNN. This attention model is simply implemented as temporal weighting yet it effectively boosts the recognition performance of video representations. Besides, each stream in the proposed ATW framework is capable of end-to-end training, with both network parameters and temporal weights optimized by stochastic gradient descent (SGD) with backpropagation. Our experiments show that the proposed attention mechanism contributes substantially to the performance gains with the more discriminative snippets by focusing on more relevant video segments.

研究の動機と目的

• 固定された時系列プーリングを超えて、長距離の時系列依存関係を効果的にモデル化することで、動画内の行動認識を向上させること。
• 長時間の動画におけるノイズや関連のない動画セグメントの課題に対処し、最も識別的なスニペットに注目できるように学習すること。
• 人間のポーズなどの追加アノテーションを必要とせず、エンド・ツー・エンドで学習可能な時系列注目メカニズムを設計すること。
• 標準的なデータセットラベルのみを用いて、UCF-101 や HMDB-51 のような標準ベンチマークでSOTAの性能を達成すること。
• 学習可能な注目メカニズムによる単純な時系列重み付けが、均一または固定重み付けの集約法よりも顕著に優れていることを示すこと。

提案手法

• ATWフレームワークは、非重複する動画セグメントから得た異なるスニペット（例：RGB、オプティカルフロー、ワープドフロー）を処理する複数のストリームを持つマルチストリームCNNアーキテクチャを採用する。
• 学習可能な時系列注目メカニズムが、行動クラスに対する関連性に基づいて各スニペットに動的重みを割り当てる。これは、時系列セグメントにわたるソフト注目層（softmax）として実装される。
• 注目重みは、全結合層とsoftmax活性化関数を経て計算され、ネットワークが最終予測に最も寄与するスニペットを学習できるようにする。
• 畳み込み重みと注目パラメータの両方を、バックプロパゲーションを用いた確率的勾配降下法でエンド・ツー・エンドで学習する。
• 注目メカニズムは、すべてのスニペットの特徴が重み付けされ統合された後、最終分類層の前に適用される動画レベルの予測段階で使用される。
• 本手法は、ベースネットワークとしてResNetを用い、空間ストリームはImageNetで事前学習し、時系列ストリームはクロスモodalな事前学習により学習する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な時系列重み付けメカニズムにより、最も情報の多い動画セグメントに注目することで、動画行動認識が向上するか？
• RQ2 標準データセットラベルのみを用いて注目メカニズムをエンド・ツー・エンドで学習させた場合、固定または均一重み付け戦略に比べて性能が向上するか？
• RQ3 UCF-101 や HMDB-51 のような標準ベンチマークにおいて、提案されたATWモデルはSOTA手法と比較してどうなるか？
• RQ4 注目メカニズムは、背景がごった返す複雑な長時間動画において、意味的に重要なフレームを効果的に特定・優先できるか？
• RQ5 認識精度を最大化するために、最適な動画セグメント数（スニペット数）と注目層の初期化戦略は何か？

主な発見

• 提案されたATWモデルはUCF-101データセットで94.6%のトップ-1精度を達成し、3モodalのTSN（93.4%）やKVMF（93.1%）といった以前のSOTA手法を上回った。
• HMDB-51データセットでは70.5%の精度を達成し、3モダリティのTSN（69.4%）や最近のモデルLTC（64.8%）やKVMF（63.3%）を上回った。
• UCF-101で最高の性能はN=4セグメントで得られ、85.80%の精度を記録した。また、セグメント数の変化に対してもモデルは頑健であることが示された。
• 注目重みを1、バイアスを0に初期化した場合、UCF-101で最高の精度（85.80%）が得られ、ランダムなガウス分布や均一初期化よりも優れた性能を示した。
• 注目重みの可視化により、モデルが前景の行動セグメントに注目し、背景や関連のないフレームを抑制していることが確認された。
• アブレーションスタディの結果、均一重み付けよりも注目メカニズムが顕著に性能を向上させ、ノイズ低減と識別的特徴の強化の有効性が示された。