[論文レビュー] Edge Based Grid Super-Imposition for Crowd Emotion Recognition

Amol Patwardhan|arXiv (Cornell University)|Aug 7, 2016

Anomaly Detection Techniques and Applications参考文献 25被引用数 6

ひとこと要約

本稿では、動画シーケンスを用いてグループ設定における自発的群衆感情を検出するためのエッジベースのグリッド重ね合わせ手法を提案する。エッジ検出と動的グリッドオーバーレイを適用して色成分ごとの時間的特徴変化を追跡することで、本手法は屋内・自発的状況下での群衆感情分類において70.9%の正確性を達成し、遮蔽や視点変化に対して頑健であることが示された。

ABSTRACT

Numerous automatic continuous emotion detection system studies have examined mostly use of videos and images containing individual person expressing emotions. This study examines the detection of spontaneous emotions in a group and crowd settings. Edge detection was used with a grid of lines superimposition to extract the features. The feature movement in terms of movement from the reference point was used to track across sequences of images from the color channel. Additionally the video data capturing was done on spontaneous emotions invoked by watching sports events from group of participants. The method was view and occlusion independent and the results were not affected by presence of multiple people chaotically expressing various emotions. The edge thresholds of 0.2 and grid thresholds of 20 showed the best accuracy results. The overall accuracy of the group emotion classifier was 70.9%.

研究の動機と目的

• 個々の表情に注目した先行手法とは対照的に、グループおよび群衆状況における自発的感情認識の課題に対処すること。
• 遮蔽、視点変化、グループ内での混沌とした感情表現にもかかわらず効果を発揮する手法の開発。
• スポーツイベントなどの自発的感情刺激からの動画データを用いて、現実世界の制御不能環境で継続的な感情検出を可能にすること。
• エッジ検出とグリッド重ね合わせによる特徴抽出を通じて、より良いグループレベルの感情分類を実現する空間時間的特徴の抽出。

提案手法

• シーン内の顕著な境界や輪郭を特定するために、動画フレームにエッジ検出が適用される。
• エッジ検出画像にラインのグリッドを重ね合わせて視覚空間をセルに分割し、特徴抽出を実施する。
• 時間的変化を捉えるために、色成分データを用いて連続フレーム間でのグリッドセル強度変化を追跡する。
• 特徴の移動を基準点に対して測定することで、時間経過に伴う感情ダイナミクスをモデル化する。
• 特徴選択の最適化とノイズ低減のため、エッジしきい値（0.2）とグリッドしきい値（20）を用いる。
• 抽出された空間時間的特徴を用いて分類器を学習させ、グループレベルの感情状態を認識する。

実験結果

リサーチクエスチョン

• RQ1 エッジベースのグリッド重ね合わせは、制御不能な屋内環境における群衆感情の空間時間的ダイナミクスを効果的に捉えることができるか？
• RQ2 群衆状況で一般的な遮蔽や視点変化の下でも、本手法はどの程度の性能を示すか？
• RQ3 エッジおよびグリッドパラメータのしきい値をどの程度に設定すると、群衆感情認識で最良の正確性が得られるか？
• RQ4 複数人の個々の人物から生じる混沌とした自発的感情表現に対して、本手法はどの程度の頑健性を示すか？
• RQ5 スポーツ上映会などの感情的に高揚した出来事で撮影された実世界の動画データに対しても、本手法は一般化可能か？

主な発見

• 提案手法は、自発的群衆反応の動画シーケンスを用いた群衆感情分類において全体で70.9%の正確性を達成した。
• エッジしきい値0.2とグリッドしきい値20が、特徴抽出における最適なバランスを示し、最高の分類正確性をもたらした。
• 本手法は遮蔽や視点変化に対して頑健であり、複雑で動的なシーンでも性能を維持した。
• フレーム間でのグリッドセル強度変化の時間的追跡により、グループ状況における感情ダイナミクスの効果的なモデル化が可能になった。
• 本手法は、スポーツイベントを観るなど屋内環境で誘発される自発的感情反応を効果的に捉えることに成功した。
• 色成分データの使用により特徴表現が向上し、群衆全体における感情状態の識別性が向上した。