[論文レビュー] Aggressive actions and anger detection from multiple modalities using Kinect

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|Jul 4, 2016

Anomaly Detection Techniques and Applications被引用数 10

ひとこと要約

本論文では、Kinectを用いて顔の表情、頭部および身体の動き、手のジェスチャー、音声を統合することで、怒りや攻撃的行動をリアルタイムで検出するマルチモーダルシステムを提案する。ルールベースの行動特徴とサポートベクターマシンを組み合わせることで、単一モodal手法に比べ、怒り検出の正確性（precision）が15.2%向上し、再現率（recall）が11.7%向上した。このアプローチにより、刑務所やスポーツバーなどの高リスク環境における監視システムの反応性が向上した。

ABSTRACT

Prison facilities, mental correctional institutions, sports bars and places of public protest are prone to sudden violence and conflicts. Surveillance systems play an important role in mitigation of hostile behavior and improvement of security by detecting such provocative and aggressive activities. This research proposed using automatic aggressive behavior and anger detection to improve the effectiveness of the surveillance systems. An emotion and aggression aware component will make the surveillance system highly responsive and capable of alerting the security guards in real time. This research proposed facial expression, head, hand and body movement and speech tracking for detecting anger and aggressive actions. Recognition was achieved using support vector machines and rule based features. The multimodal affect recognition precision rate for anger improved by 15.2% and recall rate improved by 11.7% when behavioral rule based features were used in aggressive action detection.

研究の動機と目的

• 刑務所、精神保健施設、スポーツバーなどの高リスク公共環境において、攻撃的行動や怒りをリアルタイムで改善して検出すること。
• Kinectからの視覚的および音声的キューを統合するマルチモーダル感情認識システムを開発し、行動分析を強化すること。
• ルールベースの行動特徴が怒りや攻撃的行動検出性能を向上させる効果を評価すること。
• 敵意の兆候を事前に認識することで、監視システムがセキュリティ担当者に能動的に警報を発する仕組みを実現すること。
• 複数のモダリティを統合することで、単一モダリティ手法に比べて検出精度が顕著に向上することを示すこと。

提案手法

• システムは、Microsoft Kinectを用いてRGB映像、深度マップ、音声ストリームを含むマルチモーダルデータを収集する。
• 顔の表情は、顔のランドマーク検出と感情分類モデルを用いて分析する。
• 頭部、手、身体の動きは、Kinectセンサーからのスケルタルジョイントデータを用いて追跡する。
• 声の特徴として、ピッチ、エネルギー、発話速度を抽出し、怒りの声の兆候を検出する。
• 急速なジェスチャー、突然の動きなどの攻撃的行動パターンをモデル化するため、ルールベースの特徴を設計する。
• 支持ベクターマシン（SVM）を、統合されたマルチモーダル特徴に訓練して、怒りや攻撃的行動を分類する。

実験結果

リサーチクエスチョン

• RQ1 顔の表情、動き、音声信号のマルチモーダル統合は、単一モダリティ手法を上回る怒りや攻撃的行動検出を可能にするか？
• RQ2 ルールベースの行動特徴は、実世界の監視シナリオにおいて、検出性能をどの程度向上させるか？
• RQ3 Kinectから得られるデータの統合は、怒り検出システムの正確性と再現率をどのように向上させるか？
• RQ4 一般消費者向けの深度および動きセンサーを用いて、攻撃的行動のリアルタイム検出を信頼性高く実現できるか？
• RQ5 各モダリティ（顔の表情、身体の動き、音声）が、全体の検出精度に果たす相対的寄与度はどの程度か？

主な発見

• ルールベースの行動特徴を組み込むことで、怒り検出の正確性（precision）がベースラインモデルに比べ15.2%向上した。
• ルールベースの特徴をマルチモーダルシステムに統合した際、怒り検出の再現率（recall）が11.7%向上した。
• 顔の表情、動き、音声信号のマルチモーダル統合は、正確性と再現率の両面で単一モダリティ検出を上回った。
• 本システムは、刑務所やスポーツバーなどの高リスク環境におけるリアルタイム導入の可能性を示した。
• 顔の表情と身体の動きの特徴が、検出性能に最も顕著な寄与を示した。
• 統合されたマルチモーダル特徴に訓練されたサポートベクターマシン分類器は、高い分類精度を達成した。