[논문 리뷰] Multiple Emotion Descriptors Estimation at the ABAW3 Challenge

Didan Deng|arXiv (Cornell University)|2022. 03. 24.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 심리학 이론을 기반으로 얼굴의 동작 단위(AUs, sign vehicles)와 정서 메시지(값지, 각성도, 이산 정서)를 별도로 모델링하는 새로운 다중 작업 딥러닝 아키텍처인 SMM-EmotionNet을 제안한다. sign vehicles와 메시지를 위한 별도의 브랜치를 활용하고 시간적 스무딩을 적용함으로써, ABAW3 챌린지에서 단일 작업 및 다중 작업 베이스라인을 모두 초월하는 최신 기술 성능을 달성한다.

ABSTRACT

To describe complex emotional states, psychologists have proposed multiple emotion descriptors: sparse descriptors like facial action units; continuous descriptors like valence and arousal; and discrete class descriptors like happiness and anger. According to Ekman and Friesen, 1969, facial action units are sign vehicles that convey the emotion message, while discrete or continuous emotion descriptors are the messages perceived and expressed by human. In this paper, we designed an architecture for multiple emotion descriptors estimation in participating the ABAW3 Challenge. Based on the theory of Ekman and Friesen, 1969, we designed distinct architectures to measure the sign vehicles (i.e., facial action units) and the message (i.e., discrete emotions, valence and arousal) given their different properties. The quantitative experiments on the ABAW3 challenge dataset has shown the superior performance of our approach over two baseline models.

연구 동기 및 목표

• 비디오 시퀀스에서 얼굴의 동작 단위(AUs), 값지/각성도(VA), 이산 정서를 동시에 추정하는 과제를 해결하기 위해.
• 심리학 이론(Ekman & Friesen, 1969)을 모델 아키텍처 설계에 통합하여, 관찰자에 따라 달라지는 성격과 행동적 특성이 다른 sign vehicles(AUs)와 emotional messages(EXPR, VA)를 구분하기 위해.
• 심리학적 사전 지식을 활용해 특징 학습을 정규화하고 정서 추정에서의 관찰자 간 변동성을 줄임으로써, 낮은 레이블링 환경에서의 성능 향상을 도모하기 위해.
• 간단한 스무딩을 통한 정서 특징의 시간적 모델링을 통해 노이즈를 줄이고 순차적 예측의 일관성을 향상시키기 위해.

제안 방법

• sign vehicles(AUs)를 위한 브랜치와 emotional messages(EXPR, VA)를 위한 브랜치를 갖춘 双중 브랜치 아키텍처를 설계: Jacob & Stenger (2021)에서 유도된 내부 및 상호 AUs 주의 메커니즘을 활용.
• 다양한 얼굴 영역에서 추출한 시각적 특징을 공통 메시지 공간으로 투영하고 평균을 내어 정서 메시지에 대한 일치를 도모함으로써 관찰자에 따라 달라지는 변동성을 감소.
• 시간적 스무딩을 위해 재귀 필터를 적용: $\Lambda_t = \frac{1}{1+\mu}(\epsilon_t + \mu\Lambda_{t-1})$, 여기서 $\mu$는 AU, EXPR, VA 작업의 최적 성능를 위해 그리드 서치를 통해 튜닝된다.
• 공유된 특징 추출기(InceptionV3 또는 VGG-Face 등)를 사용한 후, AUs 검출, 이산 정서 분류, 연속적인 VA 회귀를 위한 작업별로 특화된 완전 연결 헤드를 연결.
• 300,000 반복 동안 코사인 안내 학습률 스케줄을 사용하여 모델을 훈련시키며, 분류 작업에는 교차 엔트로피, 회귀 작업에는 평균 제곱 오차를 사용.
• AU와 EXPR에 대한 F1 점수와 VA에 대한 CCC를 조합한 다중 작업 손실을 최적화하며, 최종 평가 지표에서 동일한 가중치를 적용.

실험 결과

연구 질문

• RQ1 딥러닝 아키텍처에서 sign vehicles(예: AUs)와 emotional messages(예: 값지, 각성도, 이산 정서) 간의 심리학적 차이를 효과적으로 모델링할 수 있는가?
• RQ2 sign vehicles와 emotional messages의 학습을 분리함으로써, 특히 레이블이 부족한 상황에서 다수의 정서 기술자 추정 작업의 성능 향상을 이룰 수 있는가?
• RQ3 메시지 공간과 sign vehicle 공간에서의 특징에 대한 시간적 스무딩이 순차적 정서 인식에서 모델의 강인성과 성능 향상에 기여하는가?
• RQ4 관찰자에 따라 달라지는 인식, AUs의 동시 발생 등 심리학적 사전 지식을 통합함으로써 일반화 능력 향상과 정서 추정에서의 관찰자 간 변동 감소에 어느 정도 기여하는가?

주요 결과

• 제안된 SMM-EmotionNet은 ABAW3 챌린지의 AU 검출 과제에서 검증용 F1-AU 점수 0.548을 기록하여 베이스라인 InceptionV3 모델(0.536)과 VGG-Face(0.39)를 모두 초월했다.
• 이산 정서 분류 과제에서 모델은 매크로 F1 점수 0.518을 기록하여 InceptionV3 베이스라인(0.489)과 VGG-Face(0.23)를 모두 뛰어넘었다.
• 연속 정서 예측 과제에서 모델은 값지에 대해 CCC 0.447, 각성도에 대해 CCC 0.499를 기록하여 InceptionV3 베이스라인(각각 0.441 및 0.485)을 초월했다.
• 시간적 스무딩 방법은 검증 세트에서 다중 작업 평가 지표(식 9)를 정적 모델의 1.539에서 1.664로 향상시켰고, 테스트 세트에서는 1.104에서 1.113으로 상승하여 모든 과제에서 일관된 성능 향상을 입증했다.
• 3중 교차 검증 결과, 최적의 스무딩 하이퍼파라미터는 AU에 대해 $\mu=7$, EXPR 및 VA에 대해 $\mu=9$였으며, 2번째 폴드에서 CCC-VA가 최고로 0.577을 기록했다.
• 메시지 공간에서 여러 얼굴 영역의 공감을 활용함으로써, 특히 모호하거나 상충되는 얼굴 신호를 다룰 때 뛰어난 일반화 능력과 강인성을 보였다.