[논문 리뷰] A Generalized Zero-Shot Framework for Emotion Recognition from Body Gestures

Jinting Wu, Yujia Zhang외 2명|arXiv (Cornell University)|2020. 10. 13.

Emotion and Mood Recognition참고 문헌 13인용 수 7

한 줄 요약

이 논문은 신체 자세에서의 정서 인식을 위한 일반화된 제로샷 학습(GZSL) 프레임워크를 제안한다. 다중 브랜치 아키텍처를 사용하며, 프로토타입 기반 검출기, 다양체 정규화된 스택드 오토인코더, 정서 분류기 모두가 BLSTM과 자기주의 기반 특징 추출기를 공유한다. 이 프레임워크는 MASR 데이터셋에서 이전 방법 대비 미리 보지 않은 카테고리 정확도를 7.3% 향상시키고 조화 평균을 8.01% 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

Although automatic emotion recognition from facial expressions and speech has made remarkable progress, emotion recognition from body gestures has not been thoroughly explored. People often use a variety of body language to express emotions, and it is difficult to enumerate all emotional body gestures and collect enough samples for each category. Therefore, recognizing new emotional body gestures is critical for better understanding human emotions. However, the existing methods fail to accurately determine which emotional state a new body gesture belongs to. In order to solve this problem, we introduce a Generalized Zero-Shot Learning (GZSL) framework, which consists of three branches to infer the emotional state of the new body gestures with only their semantic descriptions. The first branch is a Prototype-Based Detector (PBD) which is used to determine whether an sample belongs to a seen body gesture category and obtain the prediction results of the samples from the seen categories. The second branch is a Stacked AutoEncoder (StAE) with manifold regularization, which utilizes semantic representations to predict samples from unseen categories. Note that both of the above branches are for body gesture recognition. We further add an emotion classifier with a softmax layer as the third branch in order to better learn the feature representations for this emotion classification task. The input features for these three branches are learned by a shared feature extraction network, i.e., a Bidirectional Long Short-Term Memory Networks (BLSTM) with a self-attention module. We treat these three branches as subtasks and use multi-task learning strategies for joint training. The performance of our framework on an emotion recognition dataset is significantly superior to the traditional method of emotion classification and state-of-the-art zero-shot learning methods.

연구 동기 및 목표

• 학습 중에 나타나지 않은 새로운 정서적 신체 자세를 인식하는 데 도전하는 것. 현재의 방법들은 데이터 부족과 카테고리 간 불일치로 이를 처리하지 못한다.
• 실제 테스트 환경에서 본 적 있는 카테고리보다 본 적 없는 카테고리에 대한 편향을 가진 제로샷 학습 모델을 극복하는 것.
• 의미적 설명을 활용해 신체 자세 카테고리와 그에 해당하는 정서 상태를 함께 학습함으로써 정서 인식 정확도를 향상시키는 것.
• 새로운 카테고리에 대한 레이블 데이터가 필요 없이도 본 적 있는 및 본 적 없는 정서적 신체 자세 모두에 일반화 가능한 통합 프레임워크를 개발하는 것.

제안 방법

• 자기주의 모듈이 내장된 공유 양방향 장기 단기 기억(BlSTM) 네트워크가 신체 자세 시퀀스에서 깊이 있는 시간적 특징을 추출한다.
• 프로토타입 기반 검출기(PBD)는 학습된 임계값을 사용해 샘플을 본 적 있는 자세 카테고리로 분류하고, 샘플이 본 적 없는 카테고리에 속하는지 여부를 검출한다.
• 다양체 정규화된 스택드 오토인코더(StAE)는 의미적 임베딩을 사용해 시각적 특징을 재구성함으로써 본 적 없는 자세 카테고리의 분류를 가능하게 한다.
• 소프트맥스 레이어를 갖춘 정서 분류기는 정서 분류를 위한 특징 표현 학습을 향상시키기 위해 공동으로 훈련된다.
• 다중 작업 학습은 세 가지 브랜치를 동시에 최적화하여 본 적 있는 카테고리와 본 적 없는 카테고리에서의 성능 균형을 개선하고 일반화 능력을 향상시킨다.
• StAE에서의 다양체 정규화는 시각적 공간과 의미적 공간의 기하학적 구조를 유지하여 본 적 없는 데이터로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반화된 제로샷 학습 프레임워크는 훈련 데이터에 존재하지 않는 새로운 정서적 신체 자세를 효과적으로 인식할 수 있는가?
• RQ2 테스트 데이터에 본 적 있는 카테고리와 본 적 없는 카테고리가 모두 포함된 상황에서, 모델이 둘 다 높은 정확도를 유지를 할 수 있는가?
• RQ3 정서 분류기의 통합이 정신적 자세 기반 정서 인식의 일반화 능력에 어느 정도 향상되는가?
• RQ4 다양한 하이퍼파라미터가 GZSL 설정에서 재구성, 다양체 보존, 분류 성능 간의 균형에 어떻게 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 본 적 있는 및 본 적 없는 자세 인식에서 조화 평균(H)이 41.42%를 기록하여 이전 최신 기술 수준 방법 대비 8.01% 향상되었다.
• 본 적 없는 자세 카테고리 정확도(Accu)는 29.93%에 도달하여 이전 최고 성능 방법 대비 7.3%의 절대적 향상이 있었다.
• 본 적 없는 카테고리에서의 정서 인식 성능(Accu^em)은 75.18%에 도달하여 이전 최신 기술 수준 대비 6.57% 향상되었다.
• 정서 분류기 브랜치의 포함으로 일반화 능력이 향상되었으며, 이전 연구 대비 Accs^em이 10.35% 향상되었다.
• 하이퍼파라미터 분석 결과, γ1, γ2, γ3의 중간 값에서 최적의 성능가 도달했으며, 재구성, 다양체 학습, 테스트 시 임계값 설정 간 균형이 잘 맞춰졌다.
• 프레임워크는 본 적 없는 자세를 성공적으로 검출하고 정확한 정서 상태로 매핑함으로써 실제 GZSL 환경에서의 강건성을 입증했다.