[논문 리뷰] Affect Intensity Estimation Using Multiple Modalities

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|2016. 07. 05.

Emotion and Mood Recognition인용 수 3

한 줄 요약

이 논문은 얼굴, 신체, 손, 음성 신호를 가중치 합으로 융합하는 다중모odal 정서 강도 추정 모델을 제안한다. 이 가중치 합은 분류 신뢰도, 특징점 이동 거리, 운동 속도를 기반으로 한다. 결과적으로 음성 및 손 모달리티가 0–1의 각성 기반 척도에서 정서 강도 추정 정확도를 크게 향상시키며, 단일 모달리티 접근 방식을 능가한다.

ABSTRACT

One of the challenges in affect recognition is accurate estimation of the emotion intensity level. This research proposes development of an affect intensity estimation model based on a weighted sum of classification confidence levels, displacement of feature points and speed of feature point motion. The parameters of the model were calculated from data captured using multiple modalities such as face, body posture, hand movement and speech. A preliminary study was conducted to compare the accuracy of the model with the annotated intensity levels. An emotion intensity scale ranging from 0 to 1 along the arousal dimension in the emotion space was used. Results indicated speech and hand modality significantly contributed in improving accuracy in emotion intensity estimation using the proposed model.

연구 동기 및 목표

• 인간-컴퓨터 상호작용에서 정서 강도를 정확하게 추정하는 데 도전하는 것.
• 얼굴, 신체, 손, 음성과 같은 다중 모달리티를 통합하여 정서 강도 추정을 향상시키는 모델을 개발하는 것.
• 각 모달리티가 정서 강도 예측의 총 정확도에 기여하는 정도를 평가하는 것.
• Kinect 및 오디오 센서를 통해 캡처한 데이터를 사용하여 모델 파rameter를 校정하는 것.
• 연속적인 0–1 각성 척도 기반으로 레이블링된 강도 수준과의 비교를 통해 모델을 검증하는 것.

제안 방법

• 모델는 각 모달리티의 분류 신뢰도 수준의 가중치 합으로 정서 강도를 계산한다.
• Kinect 기반 추적을 통해 얼굴 및 신체 움직임에서 특징점 이동 거리와 운동 속도를 추출한다.
• 음성 특징은 정서 강도를 추정하기 위해 처리되어 최종 가중치 점수에 기여한다.
• 모델 파rameter는 얼굴, 신체 자세, 손 움직임, 음성과 같은 다중 모달리티의 학습 데이터를 사용하여 최적화된다.
• 최종 강도 추정치는 각 모달리티에서의 신뢰도, 이동 거리, 운동 속도의 융합에서 유도된다.
• 연속적인 정서 강도 수준을 표현하기 위해 각성 차원의 0–1 척도가 사용된다.

실험 결과

연구 질문

• RQ1 다양한 모달리티를 융합하는 것이 단일 모달리티 접근 방식에 비해 정서 강도 추정에 어떻게 향상되는가?
• RQ2 얼굴, 신체, 손, 음성 중 어떤 모달리티가 정서 강도 추정 정확도에 가장 크게 기여하는가?
• RQ3 특징점 이동 거리와 운동 속도가 실시간 시스템에서 정서 강도 추정에 향상 기여할 수 있는가?
• RQ4 다양한 모달리티에서 유도된 분류 신뢰도 수준이 가중치 융합 모델에서 어떻게 상호작용하는가?
• RQ5 제안된 모델이 인간 레이블링된 정서 강도 수준과 어느 정도 일치하는가?

주요 결과

• 음성 및 손 모달리티가 제안된 모델에서 정서 강도 추정 정확도를 크게 향상시켰다.
• 신뢰도, 이동 거리, 운동 속도의 가중치 합 융합 방식이 개별 모달리티보다 더 우수한 성능을 보였다.
• 모델는 0–1 각성 척도에서 인간 레이블링된 강도 수준과 개선된 일치도를 달성했다.
• 얼굴 및 신체 모달리티는 모델에 기여했지만, 음성 및 손 모달리티만큼 영향력은 떨어졌다.
• Kinect 기반 운동 추적을 활용해 자세 및 제스처 분석을 위한 특징 추출이 향상되었다.
• 모델는 다중모달 인간-컴퓨터 상호작용에서 실시간 정서 강도 추정의 가능성을 입증했다.