[論文レビュー] Interpretable Spatio-temporal Attention for Video Action Recognition

Lili Meng, Bo Zhao+5 more|arXiv (Cornell University)|Oct 1, 2018

Human Pose and Action Recognition参考文献 58被引用数 9

ひとこと要約

本稿では、弱教師付き学習（行動ラベルのみ、ボクセルやフレームレベルのアノテーションなし）で、判別性の高い空間的領域と重要な時間的フレームに注目できる解釈可能な時空間的アテンションメカニズムを提案する。このメカニズムは、サリエンシー・マスクと畳み込みLSTMを用いて、最先端の精度を達成するとともに、関連する領域やフレームの正確な局在化を可能にする。

ABSTRACT

Inspired by the observation that humans are able to process videos efficiently by only paying attention where and when it is needed, we propose an interpretable and easy plug-in spatial-temporal attention mechanism for video action recognition. For spatial attention, we learn a saliency mask to allow the model to focus on the most salient parts of the feature maps. For temporal attention, we employ a convolutional LSTM based attention mechanism to identify the most relevant frames from an input video. Further, we propose a set of regularizers to ensure that our attention mechanism attends to coherent regions in space and time. Our model not only improves video action recognition accuracy, but also localizes discriminative regions both spatially and temporally, despite being trained in a weakly-supervised manner with only classification labels (no bounding box labels or time frame temporal labels). We evaluate our approach on several public video action recognition datasets with ablation studies. Furthermore, we quantitatively and qualitatively evaluate our model's ability to localize discriminative regions spatially and critical frames temporally. Experimental results demonstrate the efficacy of our approach, showing superior or comparable accuracy with the state-of-the-art methods while increasing model interpretability.

研究の動機と目的

• 行動ラベルのみ（ボクセルやフレームレベルのアノテーションなし）で、空間的および時間的判別領域を局在化できる解釈可能なアテンションを備えた弱教師付き動画行動認識モデルの開発。
• 空間的および時間的整合性を強制する新しい正則化子を用いることで、アテンションマップの整合性とモデルの解釈可能性を向上させる。
• ボクセルや時間的アノテーションのない状況でも、アテンション機構が重要な視覚的領域やフレームを局在化できることを示すこと。
• 最先端の手法と同等または優れた精度を達成するとともに、動画理解における解釈可能性を維持すること。

提案手法

• フレーム単位のCNN特徴量に適用可能な学習可能なサリエンシー・マスクに基づく空間的アテンション機構を用い、重要領域を強調する。
• 動画シーケンス内で最も関連性の高いフレームを特定・重み付けするため、畳み込みLSTMベースの時間的アテンションモジュールを採用する。
• 空間的滑らかさ、空間的スパarsity、時間的整合性の3つの正則化子を適用し、空間的および時間的領域で整合性のあるアテンションを保証する。
• 空間的および時間的次元にわたるソフトで微分可能なアテンションを統合し、動画レベルの行動ラベルのみでエンド・ツー・エンドの学習を可能にする。
• 分類ヘッドに入力する前に、アテンション重みによる特徴量の減衰を実装し、顕著な時空間的手がかりに注目できるようにする。
• 時間的局在化評価のため、正規化された時間的アテンション重みに閾値処理（0.5）を適用する。

実験結果

リサーチクエスチョン

• RQ1 ボクセルアノテーションがなければ、弱教師付き動画行動認識モデルは判別性の高い空間的領域を局在化できるか？
• RQ2 フレームレベルの時間的ラベルがなければ、同じモデルは行動予測に重要な時間的フレームを特定できるか？
• RQ3 空間的および時間的正則化子は、アテンションの整合性とモデル性能をどのように向上させるか？
• RQ4 提案されたアテンション機構は、最先端の手法と比較して、競争力のある精度を達成するとともに、モデルの解釈性を向上させられるか？

主な発見

• THUMOS14では、行動ラベルのみを用いて分類精度を74.45%から78.33%まで向上（絶対増加3.88%）。
• UCF101-24では、真値のボクセルボックスを使用しないにもかかわらず、特に低いIoU閾値でベースライン手法を上回る空間的局在化性能を示した。
• THUMOS14の時間的行動局在化タスクにおいて、REINFORCEやUntrimmedNetsを含むすべてのIoU閾値で最先端の性能を達成した。
• 定性的な結果から、アテンション機構は、自転車走行時の四肢など重要な行動部位や、複数人のアーティストを効果的に局在化できており、真値が単一人物のアノテーションに限られている状況でも有効である。
• ボクセルやフレームレベルのラベルが一切不要な弱教師付き設定でも、判別性のある領域やフレームを効果的に局在化でき、強力な解釈可能性を示した。
• アブレーションスタディにより、提案された正則化子がアテンションの整合性と全体的な性能向上に有効であることが確認された。