[논문 리뷰] Multimodal Affect Recognition using Kinect

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|2016. 07. 09.

Emotion and Mood Recognition참고 문헌 13인용 수 13

한 줄 요약

이 논문은 감정 탐지에 얼굴, 신체, 손, 말하기 특징을 캡처하기 위해 Kinect를 사용하는 다중모달 정서 인식 시스템을 제안한다. 이벤트 기반 의사결정 수준 융합과 규칙 기반 정서 템플릿을 통해 다양한 모odal 간 시간적 특징을 융합함으로써, 단순 지도 학습보다 높은 정확도를 달성하였으며, 시간적 특징이 정적 위치 기반 특징보다 우수한 성능을 보였다.

ABSTRACT

Affect (emotion) recognition has gained significant attention from researchers in the past decade. Emotion-aware computer systems and devices have many applications ranging from interactive robots, intelligent online tutor to emotion based navigation assistant. In this research data from multiple modalities such as face, head, hand, body and speech was utilized for affect recognition. The research used color and depth sensing device such as Kinect for facial feature extraction and tracking human body joints. Temporal features across multiple frames were used for affect recognition. Event driven decision level fusion was used to combine the results from each individual modality using majority voting to recognize the emotions. The study also implemented affect recognition by matching the features to the rule based emotion templates per modality. Experiments showed that multimodal affect recognition rates using combination of emotion templates and supervised learning were better compared to recognition rates based on supervised learning alone. Recognition rates obtained using temporal feature were higher compared to recognition rates obtained using position based features only.

연구 동기 및 목표

• 더 나은 정서 인식을 위해 Kinect에서 유래한 다중모달 데이터를 사용하는 정서 인지 시스템을 개발하기 위해.
• 규칙 기반 정서 템플릿과 지도 학습을 융합하는 것이 정서 인식에 얼마나 효과적인지 조사하기 위해.
• 시간적 특징과 정적 위치 기반 특징을 사용한 정확도를 비교하기 위해.
• 다양한 모달 간 다수결 투표를 사용한 이벤트 기반 의사결정 수준 융합의 효과를 평가하기 위해.
• 상호작용 로봇, 지능형 튜터링 및 정서 기반 내비게이션 등 응용 가능성을 탐색하기 위해.

제안 방법

• 실시간 컬러 및 깊이 센싱을 위해 마이크로소프트 Kinect를 사용하여 얼굴 특징을 추출하고 인간의 신체 관절을 추적하였다.
• 연속된 영상 프레임 간 여러 모달리티(얼굴, 머리, 손, 신체, 말하기)에서 시간적 특징을 추출하였다.
• 각 모달리티별로 규칙 기반 정서 템플릿을 적용하여 관측된 특징을 사전 정의된 정서 상태와 매칭시켰다.
• 다수결 투표를 사용한 이벤트 기반 의사결정 수준 융합을 통해 개별 모달리티 예측 결과를 통합하였다.
• 다중모달 데이터에 대해 지도 학습 모델을 훈련하고, 규칙 기반 및 하이브리드 접근 방식과의 성능을 비교하였다.
• 정서 표현의 동적 변화를 포착하기 위해 시간 모델링을 적용하였다.

실험 결과

연구 질문

• RQ1 규칙 기반 정서 템플릿과 지도 학습을 융합하면 다중모달 정서 인식에 어떤 영향을 미치는가?
• RQ2 정서 인식에서 시간적 특징과 정적 위치 기반 특징 간 상대적 기여도는 어떠한가?
• RQ3 다양한 모달 간 다수결 투표를 사용한 이벤트 기반 의사결정 수준 융합은 얼마나 효과적인가?
• RQ4 Kinect 데이터를 사용한 다중모달 융합이 정서 인식 정확도를 상당히 향상시킬 수 있는가?
• RQ5 얼굴, 신체, 손, 말하기 중 어느 모달리티가 정확한 정서 인식에 가장 기여하는가?

주요 결과

• 규칙 기반 정서 템플릿과 지도 학습을 융합한 결과, 단순 지도 학습보다 더 높은 인식률을 달성하였다.
• 시간적 특징이 정적 위치 기반 특징보다 유의미하게 높은 인식 성능을 보였다.
• 다수결 투표를 사용한 이벤트 기반 의사결정 수준 융합이 개별 모달리티 결과를 효과적으로 통합하였다.
• Kinect 데이터를 사용한 다중모달 융합이 단모달 접근 방식보다 전체 정서 인식 정확도를 향상시켰다.
• 얼굴 및 신체 운동 특징이 정확한 정서 탐지에 가장 기여하였다.
• 소비자용 깊이 센서와 RGB 센서를 사용하여 실시간 정서 인식에서 뛰어난 성능을 보였다.