[논문 리뷰] A Personalized Affective Memory Neural Model for Improving Emotion Recognition

Pablo Barros, German I. Parisi외 1명|arXiv (Cornell University)|2019. 04. 23.

Emotion and Mood Recognition참고 문헌 35인용 수 4

한 줄 요약

이 논문은 조건부 적대적 autoencoder를 활용해 사전 지식 학습을 하고, Grow-When-Required 네트워크를 활용해 개인화된 정서 표현을 구축함으로써 개인 맞춤형 정서 기억 모델을 제안한다. 이 모델은 생성적 편집을 통한 각성도와 평가도의 온라인 적응형 정서 인식을 가능하게 하여, 기존의 상태를 넘는 성능을 달성하며, 신뢰할 수 있는 얼굴 특징 인코딩과 동적 프로토타입 업데이트를 유지한다.

ABSTRACT

Recent models of emotion recognition strongly rely on supervised deep learning solutions for the distinction of general emotion expressions. However, they are not reliable when recognizing online and personalized facial expressions, e.g., for person-specific affective understanding. In this paper, we present a neural model based on a conditional adversarial autoencoder to learn how to represent and edit general emotion expressions. We then propose Grow-When-Required networks as personalized affective memories to learn individualized aspects of emotion expressions. Our model achieves state-of-the-art performance on emotion recognition when evaluated on extit{in-the-wild} datasets. Furthermore, our experiments include ablation studies and neural visualizations in order to explain the behavior of our model.

연구 동기 및 목표

• 기존의 정서 인식 모델이 개인 맞춤형 및 온라인 얼굴 표정을 다루는 데에 한계가 있음을 해결하기 위해.
• 전체 재학습이 필요 없이 개인화된 정서 표현을 학습하여 실제 환경에서의 적응성을 향상시키기 위해.
• 온라인으로 신경 표현을 업데이트함으로써 정서 프로토타입의 지속적 학습을 가능하게 하기 위해.
• 강한 지도 학습 데이터에 의존도를 줄이기 위해 비지도 및 적대적 학습을 활용해 얼굴 표정의 사전 지식을 확보하기 위해.
• 신경 시각화와 분석 실험을 통해 모델의 해석 가능성을 향상시키기 위해.

제안 방법

• 조건부 적대적 autoencoder를 사용하여 특정 각성도와 평가도 값을 가진 얼굴 표정을 생성할 수 있는 사전 지식(PK) 공간을 학습한다.
• PK 모델은 세 개의 판별기로 훈련된다: 실제 얼굴 이미지, 정서 특화 표현, 사진 수준의 사실성에 대한 판별기로, 다양한 현실적인 얼굴 편집을 보장한다.
• 개인화된 정서 기억(P-AffMem)으로서 Grow-When-Required(GWR) 네트워크를 활용하여 개인의 얼굴 표정 패턴에 기반해 동적으로 프로토타입 뉴런을 형성하고 업데이트한다.
• P-AffMem는 PK에서 사전 편집된 얼굴 표현을 기반으로 초기화되어 상호작용 시작과 동시에 즉각적인 인식 능력을 확보한다.
• 엔코더 활성화를 시각화하여 각 판별기가 특징 학습과 표현 품질에 어떤 영향을 미치는지 분석한다.
• 일반적인 사전 지식과 개인별 특화 학습을 통합하여 재학습 없이도 온라인 적응이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 신경망 모델은 어떻게 비지도 방식으로 일반적인 정서 표현을 학습하여 개인 맞춤형 정서 인식을 지원할 수 있는가?
• RQ2 생성적 적대적 autoencoder는 정서 모델링을 위한 얼굴 표정 편집의 다양성과 현실성에 얼마나 기여하는가?
• RQ3 GWR 기반 정서 기억은 재학습 없이 실시간으로 새로운 얼굴 표정에 동적으로 적응할 수 있는가?
• RQ4 사전 지식과 온라인 프로토타입 학습의 통합은 실외 환경 데이터셋에서의 인식 성능을 어떻게 향상시키는가?
• RQ5 다양한 판별기가 엔코더가 정서 관련 얼굴 영역에 집중하도록 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 모델은 실외 환경 정서 인식 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 각성도와 평가도 상관관계(CCC) 지표에서 기존 모델을 모두 능가한다.
• 세 개의 판별기(사실성, 정서, 사진 품질)를 모두 통합한 조합이 최고의 목적 성능을 기록하였으며, 왜곡 없이 명확한 얼굴 특징을 생성하고, 엔코더의 주의를 눈과 입과 같은 정서 관련 핵심 영역에 집중시켰다.
• 신경 시각화 결과, 정서 판별기(D_em)를 사용해 훈련한 엔코더는 정서 표현이 풍부한 영역을 효과적으로 필터링함으로써, 이를 사용하지 않은 모델보다 더 높은 CCC를 달성함을 확인하였다.
• 정서 기억(P-AffMem)은 영상 처리 약 몇 초 후에 PK 모델을 능가하는 성능을 보였으며, 지속적인 온라인 적응과 시간이 지남에 따라 향상된 정확도를 입증하였다.
• 분석 실험 결과, 기본 손실만으로 훈련된 PK 모델(PK_base)은 의미 있는 표현을 학습하지 못했으며, 열악한 이미지 편집과 낮은 CCC 점수로 이를 입증하였다.
• 생성적 사전 지식과 온라인 프로토타입 학습의 통합은 전체 표정 커버리지가 이루어지기 이르게도 상호작용 시작과 동시에 신뢰할 수 있는 지속적 정서 인식을 가능하게 하였다.