[論文レビュー] Where and When to Look? Spatio-temporal Attention for Action Recognition in Videos

Lili Meng, Bo Zhao+4 more|arXiv (Cornell University)|Sep 27, 2018

Human Pose and Action Recognition参考文献 31被引用数 8

ひとこと要約

本論文では、行動認識のための動画において顕著な空間的領域と重要な時間的フレームに動的に注目する分離可能な時空間注意メカニズムを提案する。空間的顕著性マスクと整合性正則化子を用いた柔らかく時間に依存する注意を学習することで、ボックスやフレームレベルのアノテーションを一切用いずに、ビデオレベルのラベルのみで、3つのベンチマークデータセット（Moments in Timeを含む）で最先端の性能を達成する。

ABSTRACT

Inspired by the observation that humans are able to process videos efficiently by only paying attention when and where it is needed, we propose a novel spatial-temporal attention mechanism for video-based action recognition. For spatial attention, we learn a saliency mask to allow the model to focus on the most salient parts of the feature maps. For temporal attention, we employ a soft temporal attention mechanism to identify the most relevant frames from an input video. Further, we propose a set of regularizers that ensure that our attention mechanism attends to coherent regions in space and time. Our model is efficient, as it proposes a separable spatio-temporal mechanism for video attention, while being able to identify important parts of the video both spatially and temporally. We demonstrate the efficacy of our approach on three public video action recognition datasets. The proposed approach leads to state-of-the-art performance on all of them, including the new large-scale Moments in Time dataset. Furthermore, we quantitatively and qualitatively evaluate our model's ability to accurately localize discriminative regions spatially and critical frames temporally. This is despite our model only being trained with per video classification labels.

研究の動機と目的

• 行動認識のための、空間的に顕著な領域と時間的に重要なフレームを効率的に特定できる、エンドツーエンドで学習可能な注意メカニズムの開発。
• ボックスやフレームレベルのアノテーションが存在しない弱いラベル（ビデオレベルラベル）の下で、判別的な時空間領域を局所化できるモデルの実現。
• 空間的・時間的整合性を保つために、注意マップの断片的または不整合なパターンを防ぐ新しい正則化子の導入。
• 人間の視覚的注意に倣って、計算リソースを最も情報の多い動画部分に集中させることで、認識精度の向上。

提案手法

• モデルは、特徴マップ上に学習可能な顕著性マスクを生成する空間的注意メカニズムを採用し、最も関連性の高い空間的領域を強調する。
• 柔らかく時間に依存する注意メカニズムを用いて、行動分類への寄与度に基づき、入力動画シーケンスから最も情報の多いフレームを選択する。
• 注意メカニズムは分離可能に設計されており、空間的注意と時間的注意は独立して計算されるが、同時に最適化される。
• 空間的および時間的整合性を強制するための整合性正則化子を導入し、注意マップの断片的または不連続な領域を防ぐ。
• 全アーキテクチャは、フレームレベルやボックスアノテーションを一切必要とせず、ビデオレベル分類ラベルのみでエンドツーエンドに学習される。
• バックボーン畳み込みニューラルネットワークによって抽出されたビデオ特徴に、最終分類層の前に注意を適用する。

実験結果

リサーチクエスチョン

• RQ1 統合的かつ効率的な注意メカニズムは、ビデオレベルラベルのみを用いて、空間的に顕著な領域と時間的に重要なフレームを効果的に局所化できるか？
• RQ2 提案された時空間注意メカニズムは、標準ベンチマークにおいて、従来の注意メカニズムと比較して、精度と局所化の正確性の両面で優れているか？
• RQ3 提案された正則化子は、強い監督信号が存在しない状況下で、注意の整合性と一般化性能をどの程度向上させるか？
• RQ4 弱い監督下でも、Moments in Timeのような大規模かつ多様なデータセットで最先端の性能を達成できるか？
• RQ5 明示的な局所化アノテーションが存在しない状況下でも、モデルは判別的な領域やフレームを正確に局所化できるか？

主な発見

• 提案手法は、Moments in Timeを含む3つの公開ビデオ行動認識データセットで最先端の性能を達成した。
• ボックスやフレームレベルのアノテーションを一切用いずに、ビデオレベルラベルでの学習にもかかわらず、判別的な空間的領域と重要な時間的フレームを高い正確性で局所化した。
• 注意マップが定量的および定性的に整合的かつ意味のある時空間領域を特定していることが確認された。
• 整合性正則化子の導入により、注意マップの品質が顕著に向上し、断片的またはノイズの多い注意パターンが著しく減少した。
• 分離可能な時空間注意メカニズムは、より複雑な注意構造を有するモデルに比べて高い効率性を維持しながらも、優れた性能を発揮した。
• 弱い監督下でも、多様な行動クラスや動画の分布に強く一般化する能力を示した。