[論文レビュー] Gender and Emotion Recognition with Implicit User Signals

Maneesh Bilalpur, Seyed Mostafa Kia+3 more|arXiv (Cornell University)|Aug 29, 2017

Emotion and Mood Recognition参考文献 30被引用数 4

ひとこと要約

本研究では、低価格の市販デバイスを用いて収集された暗黙的な行動信号（脳波のEEG活動および眼球運動）を用いて、匿名の性別および感情認識のためのフレームワークを提案する。実験では、怒りや嫌悪の感情に対して特に顕著なEEG反応を示すことで、性別を約70%の正確さで識別できることを示し、暗黙的な信号が明示的な感情反応と強く相関していることから、プライバシーに配慮したインタラクティブシステムにおけるユーザープロファイリングが可能であることを示している。

ABSTRACT

We examine the utility of implicit user behavioral signals captured using low-cost, off-the-shelf devices for anonymous gender and emotion recognition. A user study designed to examine male and female sensitivity to facial emotions confirms that females recognize (especially negative) emotions quicker and more accurately than men, mirroring prior findings. Implicit viewer responses in the form of EEG brain signals and eye movements are then examined for existence of (a) emotion and gender-specific patterns from event-related potentials (ERPs) and fixation distributions and (b) emotion and gender discriminability. Experiments reveal that (i) Gender and emotion-specific differences are observable from ERPs, (ii) multiple similarities exist between explicit responses gathered from users and their implicit behavioral signals, and (iii) Significantly above-chance ($\approx$70%) gender recognition is achievable on comparing emotion-specific EEG responses-- gender differences are encoded best for anger and disgust. Also, fairly modest valence (positive vs negative emotion) recognition is achieved with EEG and eye-based features.

研究の動機と目的

• 暗黙的なユーザーデータ（特にEEGおよび眼球運動）が、プライバシーを損なわず、匿名の性別および感情認識を可能にするかを調査すること。
• 明示的な反応時間と正確さと、暗黙的な神経活動および注視パターンを比較することで、性別による感情処理の違いを検討すること。
• 低価格で着用可能な市販デバイス（Emotiv EEG、EyeTribe眼動追跡器）が、大規模かつ生態的妥当性のあるユーザープロファイリングに実用的かどうかを評価すること。
• イベント関連電位（ERPs）および凝集分布における感情および性別特異的パターンが、信頼性を持って検出可能で、分類に利用可能かどうかを同定すること。
• 個人向け広告、レコメンデーションエンジン、精神的健康モニタリングなど、暗黙的キューを用いた適応型システムにおける実用的応用を探索すること。

提案手法

• 性別が14名の28名の参加者を対象に、6つの基本的感情に対する顔の感情認識の性能を評価するユーザースタディを実施した。
• 感情認識タスク中に、Emotiv EEGヘッドセット（14電極）およびEyeTribe眼動追跡器を用いて暗黙的な行動信号を収集した。
• 前頭前野および前頭皮質領域における性別および感情特異的神経パターンを同定するため、イベント関連電位（ERPs）を分析した。
• 感情処理中の視覚的注意の違いを検出するために、凝集分布および注視パターンを検討した。
• EEG特徴、眼動追跡特徴、およびそれらの早期融合を用いて性別認識（GR）および感情の価値基準に基づく感情認識（ER）を実施し、AUCを主な指標とした。
• 信号前処理としてICAおよび視覚的アーチファクト除去を適用し、交差検証を用いた機械学習による分類を実施した。

実験結果

リサーチクエスチョン

• RQ1 EEGおよび眼球運動といった暗黙的な行動信号は、顔の感情処理における性別差を信頼性を持って反映できるか？
• RQ2 感情特異的ERPの振幅および凝集パターンは、感情認識タスク中に男性と女性の間で顕著に異なるか？
• RQ3 特に異なる感情を考慮した場合、EEGおよび眼動追跡信号から性別をどれほど正確に識別できるか？
• RQ4 暗黙的反応（EEGおよび眼球運動）と明示的ユーザーレスポンスとの間に、速度および正確さの面で相関があるか？
• RQ5 低価格の市販デバイスが、現実世界のインタラクティブシステムにおける意味のある性別および感情認識を可能にする十分な信号品質を捉えられるか？

主な発見

• 女性は、特に怒りや嫌悪の感情に対して、男性よりも顕著に速く、かつ正確に顔の感情を認識しており、先行研究の結果を裏付けた。
• 女性では、特に前頭前野および前頭皮質領域において、否定的 emotions を処理する際により強いイベント関連電位（ERP）の振幅が観察された。
• EEGを用いた性別認識では、AUCが最大0.71に達し、怒りや嫌悪の刺激で最も高い性能を示した。これは、性別差が感情特異的にエンコードされていることを示している。
• 眼動追跡特徴による性別認識では、AUCが最大0.63に達した。EEGと眼動追跡の融合では、AUCが最大0.62に達し、情報の相補性が示された。
• 眼動追跡特徴を用いた感情の価値基準（肯定的 vs. 否定的）認識では、AUCが最大0.64に達し、感情の価値基準の識別能が中程度に保証された。
• 明示的ユーザーレスポンス（反応時間、正確さ）と暗黙的行動信号（EEG、注視）との間に顕著な相関が確認され、暗黙的測定の生態的妥当性が裏付けられた。