[論文レビュー] Real-time Automatic Emotion Recognition from Body Gestures

Stefano Piana, Alessandra Staglianò+3 more|arXiv (Cornell University)|Feb 20, 2014

Human Pose and Action Recognition参考文献 22被引用数 56

ひとこと要約

本稿では、3次元運動データを用いた全身のジェスチャーから自動的に感情を認識するリアルタイムシステムを提示する。骨格シーケンスから姿勢、運動学的、幾何的特徴を抽出し、多クラスSVMを用いて感情を分類する。6つの感情タスクにおいて61.3%の正確度を達成し、人間の性能（61.9%）に非常に近い。また、プロフェッショナルなモーションキャプチャと低価格のKinectセンサーの両方で手法の有効性を検証した。

ABSTRACT

Although psychological research indicates that bodily expressions convey important affective information, to date research in emotion recognition focused mainly on facial expression or voice analysis. In this paper we propose an approach to realtime automatic emotion recognition from body movements. A set of postural, kinematic, and geometrical features are extracted from sequences 3D skeletons and fed to a multi-class SVM classifier. The proposed method has been assessed on data acquired through two different systems: a professionalgrade optical motion capture system, and Microsoft Kinect. The system has been assessed on a "six emotions" recognition problem, and using a leave-one-subject-out cross validation strategy, reached an overall recognition rate of 61.3% which is very close to the recognition rate of 61.9% obtained by human observers. To provide further testing of the system, two games were developed, where one or two users have to interact to understand and express emotions with their body.

研究の動機と目的

• 身体の動きから自動的に感情認識を行うリアルタイムシステムの開発を目的とし、感情認識における身体言語の役割がまだ十分に探求されていない点に着目する。
• 心理学的理論における感情表現と機械学習のギャップを埋めるために、3次元運動データから行動的に意味のある特徴を抽出することを目的とする。
• 高精度なモーションキャプチャと低コストのRGB-Dセンサー（例：Microsoft Kinect）の両方で、システムの性能を評価することを目的とする。
• 自閉症スペクトラム症候群を示す子どもたちを対象としたシリアスゲームに感情認識モジュールを統合し、感情表現力および認識力の向上を目的とする。
• 特徴抽出と分類パイプラインを用いて、インタラクティブなアプリケーションでリアルタイムフィードバックを可能にすることを目的とする。

提案手法

• システムは、モーションキャプチャまたはRGB-Dカメラ（例：Kinect）から3次元骨格データを抽出し、リアルタイムで全身の動きを表現する。
• 姿勢、運動学的、幾何的特徴からなる心理学的インスピレーションを受ける特徴群を時間経過で計算し、体幹の動き、腕の動き、速度、力、方向性を含む。
• 特徴を時間的に統合し、ジェスチャーまたは動きのセグメントごとに感情的内容を表す特徴ベクトルを生成する。
• 多クラスサポートベクターマシン（SVM）分類器を用い、6つの基本感情（喜び、怒り、悲しみ、恐怖、嫌悪、驚き）を識別するように学習する。
• リアルタイムの特徴抽出とフィードバック生成のため、EyesWeb XMIプラットフォームを用いてシステムを実装する。
• プロフェッショナルセンサーとコンsumer用センサーの両方のデータを用い、1人を除いた被験者を交差検証戦略で評価する。

実験結果

リサーチクエスチョン

• RQ1 身体ジェスチャーのみで、正確なリアルタイム自動感情認識に十分な情報を提供できるか？
• RQ2 身体の動きに基づく自動化されたシステムの性能は、同じタスクで人間が行う認識精度と比べてどの程度か？
• RQ3 Microsoft Kinectのような低コストのRGB-Dセンサーは、プロフェッショナルなモーションキャプチャシステムと比較して、信頼性のある感情認識を実現できるか？
• RQ4 心理学的理論に基づいた感情表現モデルから導出された特徴セットは、身体の動きにおける感情的内容を効果的に捉えることができるか？
• RQ5 このようなシステムは、自閉症の介入を目的としたシリアスゲームのようなリアルタイムインタラクティブアプリケーションに、どのように統合できるか？

主な発見

• 提案されたシステムは、1人を除いた被験者を交差検証する手法を用い、6つの感情認識タスクで61.3%の認識正確度を達成した。
• 人間の観察者による認識率（61.9%）に非常に近く、実用的応用の可能性が非常に高いことを示している。
• プロフェッショナルなオプティカルモーションキャプチャとMicrosoft Kinectの両方のデータソースで、システムの頑健性が確認され、低コストハードウェアでも実現可能であることが検証された。
• 『Body Emotion Game』と『Emotional Charades』という2つのシリアスゲームへの感情認識モジュールの統合により、治療的文脈におけるリアルタイムでインタラクティブなフィードバックの有効性が示された。
• システムは、身体の動きからのリアルタイム感情推定に成功し、自閉症スペクトラム症候群を示す子どもたちのためのインタラクティブな学習を支援した。
• 心理学的理論に基づいた身体運動特徴は、機械学習モデルにおける感情状態を効果的に表現できることが示唆された。