[論文レビュー] Order-aware Convolutional Pooling for Video Based Action Recognition

Peng Wang, Lingqiao Liu+2 more|arXiv (Cornell University)|Jan 31, 2016

Human Pose and Action Recognition参考文献 30被引用数 4

ひとこと要約

本稿では、各特徴次元の時間的変化に学習可能な1次元畳み込みフィルタを適用することで、動的時間的情報を捉える新しい時系列プーリング手法「順序に配慮した畳み込みプーリング」を提案する。従来のプーリング手法に比べて顕著な性能向上を達成しつつ、パラメータ増加を最小限に抑える。HMDB51およびUCF101において、それぞれ64.1%および89.6%の精度を達成し、最先端手法を上回りつつ、計算効率を維持する。

ABSTRACT

Most video based action recognition approaches create the video-level representation by temporally pooling the features extracted at each frame. The pooling methods that they adopt, however, usually completely or partially neglect the dynamic information contained in the temporal domain, which may undermine the discriminative power of the resulting video representation since the video sequence order could unveil the evolution of a specific event or action. To overcome this drawback and explore the importance of incorporating the temporal order information, in this paper we propose a novel temporal pooling approach to aggregate the frame-level features. Inspired by the capacity of Convolutional Neural Networks (CNN) in making use of the internal structure of images for information abstraction, we propose to apply the temporal convolution operation to the frame-level representations to extract the dynamic information. However, directly implementing this idea on the original high-dimensional feature would inevitably result in parameter explosion. To tackle this problem, we view the temporal evolution of the feature value at each feature dimension as a 1D signal and learn a unique convolutional filter bank for each of these 1D signals. We conduct experiments on two challenging video-based action recognition datasets, HMDB51 and UCF101; and demonstrate that the proposed method is superior to the conventional pooling methods.

研究の動機と目的

• 従来の時系列プーリング手法（例：平均プーリングやマックスプーリング）がフレーム順序を無視するため、動画行動認識において動的時間的情報を損なうという制限を是正すること。
• 高次元特徴空間においてパラメータの爆発を引き起こさずに、フレームレベル特徴の局所的時間パターンを捉えるパラメータ効率の良い手法を開発すること。
• 各特徴次元の時間的変化を1次元信号としてモデル化し、判別的なパターンを検出するための教師ありフィルタバンクを適用することで、動画レベルの表現学習を向上させること。
• 標準的なプーリング手法や最先端手法と比較して、順序に配慮した表現を学習することで、標準ベンチマーク上での優れた性能が得られることを示すこと。

提案手法

• 本手法は、各フレームレベル特徴次元の時間的変化を1次元信号として扱い、専用の畳み込みフィルタバンクを用いて局所的な時間的パターンを検出可能にする。
• 各特徴次元に対して独自の1次元畳み込みフィルタを学習し、時間系列における局所的動的パターンを検出する検出器として機能させる。
• 全次元におけるフィルタ応答を、標準的な時系列プーリング（例：平均プーリングやマックスプーリング）を用いて集約し、最終的な動画レベル表現を形成する。
• 分類のための線形SVMを用いたエンド・トゥ・エンド学習による教師あり学習でモデルを訓練する。
• 3次元畳み込みを全高次元特徴テンソルに適用するのではなく、各特徴次元ごとに独立して処理することで、パラメータの爆発を回避する。
• L2正規化と連結を用いて外観特徴と動き特徴を統合し、統合表現に対して順序に配慮したプーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な1次元畳み込みを用いて個々の特徴次元の時間的変化をモデル化することで、標準的なプーリング手法を上回る動画行動認識性能が達成可能か？
• RQ2 提案手法である順序に配慮した畳み込みプーリングは、標準的なプーリング手法や最先端のアプローチと比較して、標準的な動画行動認識ベンチマークでどのように性能を発揮するか？
• RQ3 外観特徴と動き特徴を統合することで、本手法は効果を発揮するか？また、IDTにおける非教師ありプーリング戦略とどのように相乗効果をもたらすか？
• RQ4 1次元あたりのフィルタ数を増やすことで、性能と一般化能力にどのような影響が生じるか？
• RQ5 本手法は、動画行動認識を超えて、テキスト分類のような他の時系列タスクにも一般化可能か？

主な発見

• HMDB51データセットでは、提案手法が64.1%の精度を達成し、ベースライン手法（CNN + グローバルモーションプーリング）を1.6%、2番目に優れた手法（スタックドフィッシャーベクトル）を2.7ポイント上回った。
• UCF101データセットでは、89.6%の精度を達成し、最先端のDeep Net（88.6%）を1.0ポイント、2ストリームConvNet（88.0%）を1.6ポイント上回った。
• 非教師ありグローバルモーションプーリングと組み合わせた場合、UCF101における性能は89.6%にまで上昇し、教師ありと非教師あり表現の強力な相乗効果を示した。
• 外観特徴と動き特徴を統合した場合、UCF101で0.9%、HMDB51で1.6%の性能向上が見られ、マルチモーダル特徴統合の有効性を実証した。
• アブレーションスタディにより、フィルタ数を増やすことで性能向上が確認され、より高いフィルタ数で最適な性能が得られることが示され、本手法のスケーラビリティと学習能力の妥当性が裏付けられた。
• LRCN（68.2%）や空間的・時間的CNN（63.3%）と比較して優れた結果を達成したため、再帰的または3次元畳み込みを用いた深層学習モデルに対しても、本手法の有効性が示された。