[論文レビュー] Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification

Yang Du, Chunfeng Yuan+4 more|arXiv (Cornell University)|Aug 3, 2018

Human Pose and Action Recognition参考文献 53被引用数 43

ひとこと要約

本論文は、近傍の局所特徴間の相互作用を取り込む interaction-aware PCA-inspired self-attention とマルチスケール空間ピラミッドを提案し、動画アクション分類のために時空間注意へ拡張し、人気データセットで最先端の結果を達成している。

ABSTRACT

Local features at neighboring spatial positions in feature maps have high correlation since their receptive fields are often overlapped. Self-attention usually uses the weighted sum (or other functions) with internal elements of each local feature to obtain its weight score, which ignores interactions among local features. To address this, we propose an effective interaction-aware self-attention model inspired by PCA to learn attention maps. Furthermore, since different layers in a deep network capture feature maps of different scales, we use these feature maps to construct a spatial pyramid and then utilize multi-scale information to obtain more accurate attention scores, which are used to weight the local features in all spatial positions of feature maps to calculate attention maps. Moreover, our spatial pyramid attention is unrestricted to the number of its input feature maps so it is easily extended to a spatio-temporal version. Finally, our model is embedded in general CNNs to form end-to-end attention networks for action classification. Experimental results show that our method achieves the state-of-the-art results on the UCF101, HMDB51 and untrimmed Charades.

研究の動機と目的

• CNN特徴マップにおける近傍の局所特徴間の相互作用を捉えることによって、アクション認識の改善を動機づける。

提案手法

• PCAをヒントにした相互作用を活用する interaction-aware self-attention 機構を導入する。
• 複数のCNN層から空間特徴ピラミッドを構築してマルチスケールの注意マップを得る。
• ピラミッド特徴間でチャネルごとの自己注意を実行し、フュージョン関数を用いて注意マップを計算する。
• 空間ピラッド注意を時空間版へ拡張して複数のビデオフレームに対応させる。
• 注意を正則化しCNN内でエンドツーエンド訓練を可能にするために、interactive および attention losses を組み込む。

実験結果

リサーチクエスチョン

• RQ1 CNNの局所特徴間の特徴相互作用を自己注意にどのように組み込んでアクション認識を向上させられるか？
• RQ2 マルチスケール特徴マップに対する空間ピラミッドは動画フレームの注意スコアをより正確にするか？
• RQ3 注意機構を任意長のフレーム列に対応する時空間形式へ拡張できるか？
• RQ4 提案された損失とマルチスケール融合は異なるバックボーンネットワーク間でアクション分類を改善するか？

主な発見

• 本手法は UCF101、HMDB51、および未編集 Charades データセットで最先端の結果を達成している。
• 3尺度の空間ピラミッドは単一尺度の注意に比べて顕著な性能向上を提供する。
• 要素ごとの乗算をフュージョン関数として用いると候補の中で高い性能を発揮する。
• 本手法はCNNバックボーン（VGGNet-16、BN-Inception、Inception-ResNet-V2）間での汎用性を示す。
• 時系列拡張によりKフレームの集約を可能とし、テスト時により多くのフレームを使用すると改善が見られる。