[論文レビュー] Attentive Action and Context Factorization

Yang Wang, Vinh Cao Trần+3 more|arXiv (Cornell University)|Apr 10, 2019

Human Pose and Action Recognition参考文献 27被引用数 5

ひとこと要約

本論文は、人間の行動の空間的・時系列的局所化のための弱教師付き注意メカニズムを学習するために、文脈的に類似したが行動を含まない動画サンプル（共役サンプル）を用いる、注意に基づく行動および文脈要因分解手法を提案する。このアプローチは、二重の空間的・時系列的注意マップを介して行動と文脈の特徴を分離し、詳細なアノテーションを必要とせずに、行動認識の精度と解釈可能性を向上させる。

ABSTRACT

We propose a method for human action recognition, one that can localize the spatiotemporal regions that `define' the actions. This is a challenging task due to the subtlety of human actions in video and the co-occurrence of contextual elements. To address this challenge, we utilize conjugate samples of human actions, which are video clips that are contextually similar to human action samples but do not contain the action. We introduce a novel attentional mechanism that can spatially and temporally separate human actions from the co-occurring contextual factors. The separation of the action and context factors is weakly supervised, eliminating the need for laboriously detailed annotation of these two factors in training samples. Our method can be used to build human action classifiers with higher accuracy and better interpretability. Experiments on several human action recognition datasets demonstrate the quantitative and qualitative benefits of our approach.

研究の動機と目的

• 行動が微細で文脈的要素と同時に発生する動画において、人間の行動を定義する空間的・時系列的領域を局所化する課題に対処すること。
• 対象行動を含まない文脈的に類似したクリップを用いることで、高価な詳細アノテーションへの依存を低減すること。
• 注意メカニズムを通じて行動と文脈の表現を明示的に分離することにより、モデルの解釈可能性を向上させること。
• 分類性能を向上させるとともに、行動および文脈コンponentsの視覚的根拠を提供する手法を開発すること。

提案手法

• 行動付き動画とその共役サンプル（対象行動を含まないが文脈的に類似した）のペairedな訓練データを用いる。
• 行動および文脈コンponentsのための別々の空間的・時系列的注意マップを生成する二重ブランチ注意メカニズムを採用する。
• 空間的および時系列的注意を適用して関連する動画領域からの特徴を選択的にプールし、分離された特徴抽出を可能にする。
• 分類損失を最小化し、行動および共役サンプルの文脈特徴間の類似度を最大化し、行動特徴間の類似度を最小化する、共同目的関数を最適化する。
• 特徴抽出に3D CNNバックボーン（例：3D-Res34-RGB）を用い、注意重み付き特徴に対してグローバル平均プーリングを適用する。
• Pascal VOC2012用に、画像補完およびブレンドを用いて共役サンプルを生成する手法を用いて、静止画像へのフレームワークの適応を図る。

実験結果

リサーチクエスチョン

• RQ1 詳細なアノテーションがなくても、弱教師付き注意メカニズムが動画内の行動関連の空間的・時系列的領域を効果的に局所化できるか？
• RQ2 共役サンプルのみを用いて、モデルが行動と文脈の表現をどの程度うまく分離できるか？
• RQ3 従来の注意メカニズムと比較して、提案手法が行動認識の精度と解釈可能性をどの程度向上させるか？
• RQ4 HACSデータセットのような短時間の動画クリップにおいて、この手法はどの程度効果的か？
• RQ5 このフレームワークは、行動および文脈の局所化のために静止画像へ一般化可能か？

主な発見

• 提案手法ActXは、Pascal VOC2012データセットでmAP 80.2%を達成し、以前の最先端手法（75.2%）を上回った。
• HACS-30データセットでは、ベースラインの注意メカニズムと比較して、ActXがより高いmAPおよびmAccを達成したが、動画の短さのため性能向上は限定的であった。
• 行動と文脈の特徴を明確に分離する注意マップにより、解釈可能性が向上した。
• ActionThreadおよびHollywood2データセットにおける実験により、既存の注意ベースのモデルと比較して一貫した性能向上が確認された。
• 行動と文脈のための注意マップは視覚的に整合性があり、行動マップは人間と物体の相互作用に焦点を当て、文脈マップは背景やシーン要因に焦点を当てている。
• 共役サンプルの使用により、ピクセルレベルやボクシングボックスアノテーションの必要性がなく、有効な弱教師付き学習が可能になった。