[論文レビュー] Fuzzy Model on Human Emotions Recognition

Kaveh Bakhtiyari, Hafizah Husain|arXiv (Cornell University)|Jan 1, 2013

Emotion and Mood Recognition参考文献 7被引用数 19

ひとこと要約

本稿では、キーボード、マウス、タッチスクリーンの操作を用いた、複数の感情を同時に5段階の強度（0–4）で認識するためのファジィ論理ベースのモデルを提案する。SVMで学習された本システムは、感情分類手法における離散的表現と比較して、より自然で連続的な人間の感情表現を可能にし、最高で5%の高い検出精度と最大16.7%の偽陽性率を達成した。

ABSTRACT

This paper discusses a fuzzy model for multi-level human emotions recognition by computer systems through keyboard keystrokes, mouse and touchscreen interactions. This model can also be used to detect the other possible emotions at the time of recognition. Accuracy measurements of human emotions by the fuzzy model are discussed through two methods; the first is accuracy analysis and the second is false positive rate analysis. This fuzzy model detects more emotions, but on the other hand, for some of emotions, a lower accuracy was obtained with the comparison with the non-fuzzy human emotions detection methods. This system was trained and tested by Support Vector Machine (SVM) to recognize the users' emotions. Overall, this model represents a closer similarity between human brain detection of emotions and computer systems.

研究の動機と目的

• 離散的（存在／非存在）分類に代わって、感情を連続的で多段階の状態としてモデル化することで、離散的感情検出の限界を克服すること。
• 複数の感情とその強度レベルを同時に認識可能にすることで、現実の人間の感情状態の複雑さを反映すること。
• 専用センサーを必要とせず、広く利用可能な入力モダリティ（キーボード、マウス、タッチスクリーン）を用いて、計算的に実行可能で非侵襲的な感情認識システムを構築すること。
• 脳のファジィベースの感情処理を模倣することで、人間とコンピュータのインタラクションの自然さと正確性を向上させること。

提案手法

• 感情は5段階のファジィスケール（0 = なし、4 = 最大強度）で分類され、連続的な感情表現が可能になる。
• 130名の参加者から多様な文化的背景を持つ被験者を対象に、経験採択法（ESM）を用いて自己報告による感情状態を収集した。
• PANASフレームワークに7つの基本的感情を追加し、学習および評価用に27感情のデータセットを構築した。
• 行動特徴（キーストロークダイナミクス、マウスの動き、タッチ操作）をファジィ感情レベルにマップするために、サポートベクターマシン（SVM）を分類エンジンとして採用した。
• ファジィ論理を用いて感情の確率的共発生をモデル化し、特定の強度レベルにおける二次的または共存する感情の推定を可能にした。
• 評価には2つの指標を用いた：(1) 正確な感情名の検出（精度）、(2) 偽陽性率が低い感情レベルの推定。

実験結果

リサーチクエスチョン

• RQ1 ファジィモデルは、離散的カテゴリーではなく、連続的な強度レベル（0–4）として人間の感情を効果的に表現できるか？
• RQ2 高い精度と低い偽陽性率で、複数の共発する感情を同時に検出できるか、その程度はどの程度か？
• RQ3 文化的要因および人口統計的要因（例：地域、性別）は、行動データにおける感情の共発現パターンや強度にどのような影響を及ぼすか？
• RQ4 従来の2値または単一感情検出モデルと比較して、ファジィ感情表現を用いることで、感情認識の現実性と正確性が向上するか？

主な発見

• 本ファジィモデルは、複数の感情とその強度レベルを認識することで、非ファジィ手法と比較して最大で5%の高い検出精度を達成した。
• 感情レベル推定における偽陽性率は0%から16.7%の範囲にあり、異なる感情状態においても強度の推定が信頼できることが示された。
• 喜び、期待、怒り、恐怖は明確に異なるが重複する変化パターンを示し、嫌悪と怒りは類似したダイナミックプロファイルを共有していた。
• 本モデルは共存感情の推定に成功した。例えば、喜びが50%のとき、恐怖は26%、受容は55%と推定され、複数感情認識の実現が示された。
• 男性は全体的により強い自己報告感情を示しており、『活発』が最も強く（4段階中3.24）、『不親切』が最も弱かった（4段階中1.62）。
• 地域的差が観察された：中東地域の参加者は、喜びが50%の状態で、恐怖（1.33）と驚き（1.33）のレベルが高かった一方、ヨーロッパ参加者は同じ条件下で受容（2.09）と期待（1.8）のレベルが高かった。