[論文レビュー] Convolutional Relational Machine for Group Activity Recognition

Sina Mokhtarzadeh Azar, Mina Ghadimi Atigh+2 more|arXiv (Cornell University)|Apr 5, 2019

Human Pose and Action Recognition参考文献 28被引用数 5

ひとこと要約

本稿では、空間的関係を中間のアクティビティマップを通じて学習するエンドツーエンドの深層畳み込みニューラルネットワーク（CNN）である、畳み込み的関係機械（CRM）を提案する。モデルはこのマップを段階的なプロセスで精錬し、特徴を統合することで、バレー​​ボール（93.04％の正確性）およびコラボラティブアクティビティデータセットで最先端の手法を上回る正確なグループアクティビティ分類を実現する。

ABSTRACT

We present an end-to-end deep Convolutional Neural Network called Convolutional Relational Machine (CRM) for recognizing group activities that utilizes the information in spatial relations between individual persons in image or video. It learns to produce an intermediate spatial representation (activity map) based on individual and group activities. A multi-stage refinement component is responsible for decreasing the incorrect predictions in the activity map. Finally, an aggregation component uses the refined information to recognize group activities. Experimental results demonstrate the constructive contribution of the information extracted and represented in the form of the activity map. CRM shows advantages over state-of-the-art models on Volleyball and Collective Activity datasets.

研究の動機と目的

• 画像または動画内の個々の人物間の空間的関係を明示的にモデル化することで、グループアクティビティ認識を向上させること。
• 外見的特徴や時間的特徴を超えた関係的ヒントを捉えることができる深層学習アーキテクチャを開発すること。
• 個々のアクティビティとグループアクティビティの関係を符号化する中間のアクティビティマップ表現を導入すること。
• 予測誤差を低減するために、アクティビティマップを段階的なプロセスで精錬すること。
• 人物検出やトラッキングに依存せずに、ベンチマークデータセットで優れたパフォーマンスを達成すること。

提案手法

• モデルは畳み込みニューラルネットワークを用いて、個々のアクティビティとグループアクティビティの予測を符号化した初期のアクティビティマップを生成する。
• 複数段階の精錬部は、誤った予測を段階的に低減することで、アクティビティマップを繰り返し改善する。
• 精錬されたアクティビティマップは、画像または動画の特徴と統合され、最終的なグループアクティビティ分類に使用される。
• すべてのコンponentsを共同最適化するエンドツーエンドの学習戦略がアーキテクチャに採用されている。
• 空間的関係は、明示的な関係プーリングやアテンション機構を用いずに、アクティビティマップの空間的構造を通じて暗黙的にモデル化される。
• 本手法は、単一フレームおよび複数フレーム入力の両方を用いて、2つの公開データセット（バレー​​ボールおよびコラボラティブアクティビティ）で評価されている。

実験結果

リサーチクエスチョン

• RQ1 中間のアクティビティマップは、グループアクティビティ認識のための人物間の空間的関係を効果的に符号化できるか？
• RQ2 アクティビティマップの段階的精錬は、ワンステップ手法と比較して予測の正確性を向上させるか？
• RQ3 明示的な人物検出やトラッキングを用いずに、CNNベースのモデルが既存の関係モデリング手法を上回ることができるか？
• RQ4 標準ベンチマークにおいて、提案されたCRMは最先端のモデルと比較して正確性で優れているか？
• RQ5 モデルは、外見的特徴や運動特徴を超えた空間的文脈と関係的ヒントをどの程度活用しているか？

主な発見

• CRMは複数フレーム設定においてバレー​​ボールデータセットで93.04％の正確性を達成し、前回の最良手法を2.4％上回った。
• 単一フレーム設定ではCRMは90.80％の正確性を達成し、前回の最先端手法を2.5％上回った。
• コラボラティブアクティビティデータセットでは、CRMは85.75％のマルチクラス分類正確性（MCA）を達成し、大多数の先行手法を上回った。
• '歩行'と'横断'を'移動'に統合した後、MPCAが94.2％に上昇し、意味的に類似したこれらのクラス間の誤りを顕著に低減した。
• アクティビティマップの可視化結果から、CRMは意味的な空間的表現を学習していることが示され、異なるアクティビティクラスを示す明確な色のパターンが観察された。
• アブレーションスタディの結果、段階的精錬および特徴統合コンponentsがパフォーマンス向上に不可欠であることが確認された。