[논문 리뷰] Real-time Automatic Emotion Recognition from Body Gestures

Stefano Piana, Alessandra Staglianò외 3명|arXiv (Cornell University)|2014. 02. 20.

Human Pose and Action Recognition참고 문헌 22인용 수 56

한 줄 요약

이 논문은 3D 운동 데이터를 사용하여 전체 신체 자세에서 자동으로 정서를 인식하는 실시간 시스템을 제시한다. 이 시스템은 뼈대 시퀀스에서 자세, 운동학적, 기하학적 특징을 추출하고, 다중 클래스 SVM를 사용하여 정서를 분류하여 6가지 정서 작업에서 61.3%의 정확도를 달성한다. 이는 인간 성능(61.9%)에 매우 가까운 성능이며, 전문 움직임 캡처 장치와 저비용 Kinect 센서 모두에서 이 접근법의 타당성을 입증한다.

ABSTRACT

Although psychological research indicates that bodily expressions convey important affective information, to date research in emotion recognition focused mainly on facial expression or voice analysis. In this paper we propose an approach to realtime automatic emotion recognition from body movements. A set of postural, kinematic, and geometrical features are extracted from sequences 3D skeletons and fed to a multi-class SVM classifier. The proposed method has been assessed on data acquired through two different systems: a professionalgrade optical motion capture system, and Microsoft Kinect. The system has been assessed on a "six emotions" recognition problem, and using a leave-one-subject-out cross validation strategy, reached an overall recognition rate of 61.3% which is very close to the recognition rate of 61.9% obtained by human observers. To provide further testing of the system, two games were developed, where one or two users have to interact to understand and express emotions with their body.

연구 동기 및 목표

• 신체 운동에서 자동으로 정서를 인식하는 실시간 시스템을 개발하여, 정서 표현에 있어 신체 언어의 역할이 아직 충분히 탐색되지 않은 문제를 해결한다.
• 심리학적 정서 표현 이론과 기계 학습 간 격차를 메우기 위해 3D 운동 데이터에서 행동적으로 의미 있는 특징을 추출한다.
• 전문 정밀도의 운동 캡처 장치와 저비용 RGB-D 센서(예: Microsoft Kinect) 양측에서 시스템 성능을 평가한다.
• 자폐 스펙트럼 장애를 가진 어린이들을 위한 심각한 게임에 정서 인식 모듈을 통합하여 정서 표현력과 인식 능력을 향상시킨다.
• 특징 추출 및 분류 파이프라인을 통해 실시간 피드백을 제공할 수 있도록 실시간 상호작용 응용 프로그램에 통합한다.

제안 방법

• 시스템은 움직임 캡처 장치나 RGB-D 카메라(예: Kinect)에서 3D 뼈대 데이터를 추출하여 실시간으로 전신 운동을 표현한다.
• 심리학적으로 영감을 얻은 특징 집합—자세, 운동학적, 기하학적 특징—을 시간에 따라 계산하며, 체간 이동, 팔 움직임, 속도, 힘, 방향성 등을 포함한다.
• 특징들은 각 자세나 운동 세그먼트당 특징 벡터로 시간에 따라 통합되어 정서적 내용을 표현한다.
• 다중 클래스 서포트 벡터 머신(SVM) 분류기가 행복, 분노, 슬픔, 공포, 혐오, 놀라움의 6가지 기본 정서를 인식하도록 훈련된다.
• 실시간 특징 추출 및 피드백 생성을 위해 시스템은 EyesWeb XMI 플랫폼을 사용하여 구현된다.
• 성능 평가에는 전문 및 소비자 수준 센서의 데이터에 대해 이탈자 한 명을 제외한 교차 검증 전략을 사용한다.

실험 결과

연구 질문

• RQ1 신체 자세만으로도 정확한 실시간 자동 정서 인식에 충분한 정보를 제공할 수 있는가?
• RQ2 신체 운동 기반의 자동화된 시스템의 성능은 동일 작업에서 인간의 인식 정확도와 비교해 어떻게 되는가?
• RQ3 Microsoft Kinect과 같은 저비용 RGB-D 센서는 전문 움직임 캡처 시스템에 비해 정서 인식에 얼마나 신뢰성 있게 기여할 수 있는가?
• RQ4 심리학적 정서 표현 모델에서 유도된 특징 집합은 신체 운동의 정서적 내용을 효과적으로 포착할 수 있는가?
• RQ5 이러한 시스템은 자폐 스펙트럼 장애 치료를 위한 심각한 게임과 같은 실시간 상호작용 응용 프로그램에 어떻게 통합될 수 있는가?

주요 결과

• 제안된 시스템은 이탈자 한 명을 제외한 교차 검증 전략을 사용하여 6가지 정서 인식 작업에서 61.3%의 정확도를 달성하였다.
• 이 성능는 인간 관찰자의 정확도 61.9%에 매우 가까워, 실생활 적용 가능성에 강력한 잠재력을 보여준다.
• 시스템은 전문 광학 움직임 캡처 장치와 Microsoft Kinect이라는 두 가지 데이터 소스 모두에서 뛰어난 내성성을 입증하여, 저비용 하드웨어에서도 구현 가능함을 확인하였다.
• 두 가지 심각한 게임인 'Body Emotion Game'과 'Emotional Charades'에 정서 인식 모듈을 통합함으로써, 치료적 맥락에서 실시간 상호작용 피드백의 실현 가능성을 입증하였다.
• 시스템은 자폐 스펙트럼 장애를 가진 어린이들을 위한 상호작용 학습을 지원하기 위해 실시간으로 신체 운동에서 정서를 추론하는 데 성공하였다.
• 결과적으로 심리학적 이론에서 유도된 신체 운동 특징는 기계 학습 모델에서 정서 상태를 효과적으로 표현할 수 있음을 시사한다.