[論文レビュー] Emotion-Based Crowd Representation for Abnormality Detection

Hamid R. Rabiee, Javad Haddadnia+4 more|arXiv (Cornell University)|Jul 26, 2016

Anomaly Detection Techniques and Applications参考文献 23被引用数 21

ひとこと要約

本論文は、低レベルの視覚的特徴と高レベルの行動的理解の間のギャップを埋めるために、中間レベルの意味的属性としての群衆の感情を活用することで、異常検出のための新しい感情ベースの群衆表現を提案する。群衆行動と感情の両方のラベルを併記した新しいデータセットを導入することで、潜在的 emotions モデリングを用いた行動分類で43.9%の正確性を達成し、ベースライン手法よりも7%高い正確性を実現し、『パニック』や『混雑』のような曖昧な行動の検出を顕著に改善した。

ABSTRACT

In crowd behavior understanding, a model of crowd behavior need to be trained using the information extracted from video sequences. Since there is no ground-truth available in crowd datasets except the crowd behavior labels, most of the methods proposed so far are just based on low-level visual features. However, there is a huge semantic gap between low-level motion/appearance features and high-level concept of crowd behaviors. In this paper we propose an attribute-based strategy to alleviate this problem. While similar strategies have been recently adopted for object and action recognition, as far as we know, we are the first showing that the crowd emotions can be used as attributes for crowd behavior understanding. The main idea is to train a set of emotion-based classifiers, which can subsequently be used to represent the crowd motion. For this purpose, we collect a big dataset of video clips and provide them with both annotations of "crowd behaviors" and "crowd emotions". We show the results of the proposed method on our dataset, which demonstrate that the crowd emotions enable the construction of more descriptive models for crowd behaviors. We aim at publishing the dataset with the article, to be used as a benchmark for the communities.

研究の動機と目的

• 異常検出における低レベルの視覚的特徴と高レベルの群衆行動概念の間の意味的ギャップを解消すること。
• 群衆の感情を行動モデル化の意味的属性として使用する可能性を検討すること。
• 群衆行動と感情の両方のラベルを併記した公開可能なベンチマークデータセットを構築すること。
• 感情に配慮した表現が異常検出性能を向上させる有効性を評価すること。
• 感情から行動へのマッピングを用いて、トレーニングデータにない新しい異常行動のゼロショット検出を可能にすること。

提案手法

• 『パニック』や『喧嘩』、『混雑』などの群衆行動ラベルと、『怒り』や『怖がり』、『幸せ』などの群衆感情ラベルを併記した大規模な動画データセットを収集・ラベリングする。
• 群衆の動きから感情状態を認識するための感情固有の分類器を訓練し、感情を中間レベルの意味的属性として扱う。
• 潜在的SVMフレームワークを用いて、感情ラベルを潜在変数として用いて群衆行動予測をモデル化し、推論時に真の感情ラベルが入手できない状況でも性能向上を実現する。
• 低レベルの視覚的特徴（例：動き、外観）と感情ベースの表現を統合するマルチクラス分類パイプラインを採用し、行動モデルの性能を向上させる。
• 複数の行動および感情クラスにおける誤り行列と正確性指標を用いて性能を評価し、手法の頑健性を検証する。
• 未確認の異常行動のゼロショット検出を可能にする、新しい感情から行動へのマッピング戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 群衆の感情は、群衆行動の表現を向上させる有効な中間レベルの意味的属性として機能するか？
• RQ2 感情情報を統合することで、低レベルの特徴と高レベルの行動概念の間の意味的ギャップはどの程度縮小されるか？
• RQ3 低レベル特徴のみを用いたベースライン手法と比較して、感情ベースの表現は異常検出の正確性をどの程度向上させるか？
• RQ4 真の感情ラベルが入手できない状況でも、潜在的 emotions モデリングは行動分類性能を向上させることができるか？
• RQ5 感情ベースの表現は、トレーニングデータに存在しない新しい異常行動の検出を可能にするか？

主な発見

• 提案された感情ベースの表現は、潜在的 emotions モデリングを用いて43.9%の検出正確性を達成し、ベースライン手法よりも7%高い正確性を示した。
• 『パニック』行動クラスは71.87%の最高の検出精度を記録し、最も多くの誤分類が『喧嘩』クラス（11.88%）と発生した。
• 『混雑』クラスは最低の検出性能を示し、21.92%の予測が『パニック』と誤分類されたため、視覚的特徴に高い曖昧性が存在することが示された。
• 感情ベースの分類器は高い性能を示し、『怖がり』感情は認識精度65.92%を達成し、感情状態の識別能の高さが裏付けられた。
• 感情分類の誤り行列では、『悲しみ』と『怖がり』の感情が最も頻繁に混同されており、これらの状態に類似した動きのパターンが存在することが示唆された。
• 本手法は、行動認識および感情認識の両タスクにおいてすべてのベースラインを上回り、共同モデリングの補完的価値を確認した。