[論文レビュー] Action Classification and Highlighting in Videos

Atousa Torabi, Leonid Sigal|arXiv (Cornell University)|Aug 31, 2017

Human Pose and Action Recognition参考文献 49被引用数 5

ひとこと要約

本論文では、物体、シーン、行動などの顕著な視覚的特徴に注目することで、動画におけるアクション分類とフレームハイライトを統合的に実行する注目メカニズムを備えたLSTMモデルを提案する。これらの意味的カテゴリに対して補完的なVGG-19特徴を活用することで、ActivityNetで最先端の性能を達成し、mAPを最大54.2%向上させ、標準LSTMおよびCNNベースラインを8ポイント以上上回った。

ABSTRACT

Inspired by recent advances in neural machine translation, that jointly align and translate using encoder-decoder networks equipped with attention, we propose an attentionbased LSTM model for human activity recognition. Our model jointly learns to classify actions and highlight frames associated with the action, by attending to salient visual information through a jointly learned soft-attention networks. We explore attention informed by various forms of visual semantic features, including those encoding actions, objects and scenes. We qualitatively show that soft-attention can learn to effectively attend to important objects and scene information correlated with specific human actions. Further, we show that, quantitatively, our attention-based LSTM outperforms the vanilla LSTM and CNN models used by stateof-the-art methods. On a large-scale youtube video dataset, ActivityNet, our model outperforms competing methods in action classification.

研究の動機と目的

• 動画における人間のアクション認識の課題に、継続時間、視点、視覚的ごみの多様性が著しい状況に対処すること。
• 時間的文脈と顕著な視覚的手がかりへの選択的注目を統合することで、アクション認識を向上させること。
• アクション分類と関連フレームのハイライトを同時に学習するエンドツーエンドの学習を可能とすること。
• 物体、シーン、行動といった複数の意味的特徴に注目することで、性能向上が図られるかを検討すること。

提案手法

• 動的な時間的セグメントに注目するソフトアテンション機構を備えたエンコーダデコーダLSTMアーキテクチャを用いる。
• 空間的・時間的特徴をC3Dネットワークで、意味的特徴を物体・シーン・行動分類に微調整したVGG-19ネットワークでフレームを符号化する。
• 各時刻で注目重みを計算し、最も関連性の高い視覚的表現に注目し、LSTM隠れ状態に統合する。
• 微分可能アテンション機構を採用することでエンドツーエンド学習が可能となり、モデルがアクション認識に最も情報量の多い動画部分を学習できる。
• 異なる意味的モダリティ（物体、シーン、行動）に注目する複数のアテンションヘッドを用い、その予測を平均化して統合する。
• VGG-19モデルのfc6およびfc8層特徴を併用し、fc8層が一貫して優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 標準LSTMおよびCNNベースラインと比較して、注目メカニズムを備えたLSTMモデルは、動画におけるアクション分類とフレームハイライトの両方を向上させることができるか？
• RQ2 補完的な意味的特徴（物体、シーン、行動）に注目することで、アクション認識性能に顕著な向上が見られるか？
• RQ3 異なるアテンション機構（例：フレームレベル vs. 最終状態アテンション）は認識性能にどのように影響するか？
• RQ4 異なる意味的特徴（物体、シーン、行動）に注目するモデルを組み合わせた場合、互いに補完的である程度はどの程度か？
• RQ5 視覚的ごみが存在する中でも、アテンション機構は意味的に関連する視覚的手がかりを学習してハイライトできるか？

主な発見

• 提案された注目メカニズムを備えたLSTMは、ActivityNetデータセットにおいて、標準LSTMおよびCNNモデルと比較してmAPで8ポイント以上向上した。
• 物体、シーン、行動に微調整されたVGG-19特徴に注目することで、最良の個別モデルと比較して最大5.6ポイントの性能向上が達成された。
• 物体、シーン、行動の3つの意味的モダリティに注目する統合モデルが、ActivityNetで最高のmAP 54.2%およびAC 52.8%を達成した。
• 「ガソリンを給油する」や「車のステレオを設置する」などの特定のアクションクラスでは、検出可能な物体を含むため、精度が30%以上向上した。
• 各時刻でアテンションを計算するアーキテクチャ（図4a）は、最終ステップでのみアテンションを計算するアーキテクチャ（図4b）を上回った。
• 定性的な分析により、アテンション機構が一貫して意味的に関連する物体やシーンをハイライトしており、モデルの解釈可能性が向上していることが確認された。