[논문 리뷰] Multi-modal Affect Analysis using standardized data within subjects in the Wild

Sachihiro Youoku, Takahisa Yamamoto외 8명|arXiv (Cornell University)|2021. 07. 07.

Color perception and design참고 문헌 24인용 수 5

한 줄 요약

이 논문은 주제 내 표준화된 특징을 사용하여 실외 환경에서의 얼굴 정서 인식을 위한 다중 모odal, 시계열 모델링 프레임워크를 제안한다. 공통적인 딥 특징과 영상 시퀀스에서 유도된 주제별 z-스코어 정규화 특징을 융합한 GRU 네트워크를 사용하여, 이미지, AUs, 머리 자세, 시선 등의 융합된 모달리티를 처리함으로써 ABAW 2021 검증 세트에서 최신 기술 수준(SOTA)의 표현 분류 점수 0.546을 달성하였으며, 기준 모델보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Human affective recognition is an important factor in human-computer interaction. However, the method development with in-the-wild data is not yet accurate enough for practical usage. In this paper, we introduce the affective recognition method focusing on facial expression (EXP) and valence-arousal calculation that was submitted to the Affective Behavior Analysis in-the-wild (ABAW) 2021 Contest. When annotating facial expressions from a video, we thought that it would be judged not only from the features common to all people, but also from the relative changes in the time series of individuals. Therefore, after learning the common features for each frame, we constructed a facial expression estimation model and valence-arousal model using time-series data after combining the common features and the standardized features for each video. Furthermore, the above features were learned using multi-modal data such as image features, AU, Head pose, and Gaze. In the validation set, our model achieved a facial expression score of 0.546. These verification results reveal that our proposed framework can improve estimation accuracy and robustness effectively.

연구 동기 및 목표

• 조명, 자세, 개인 간 변동성으로 인해 성능이 저하되는 비구속적, 실외 영상 환경에서의 정서 인식 정확도 향상.
• 정적 프레임 기반 모델의 한계를 보완하기 위해 개인별 정서 변화의 상대적 변화와 시간적 동적 특성을 통합.
• 이미지, AUs, 머리 자세, 시선 등의 다중 모달 입력과 주제별 표준화된 특징을 융합하여 정확도와 강인성 향상.
• 인간의 정서 평가가 절대적 값이 아닌 개인 내 상대적 변화에 기반한다는 가설을 검증.
• 얼굴 표현 분류 및 정서-각성도 추정에 있어 ABAW 2021 챌린지에서 최신 기술 수준의 성능 달성.

제안 방법

• 주로 주제의 얼굴를 식별하기 위해 MTCNN을 사용하여 영상 프레임을 사전 처리하고, 조명 변화를 보정하기 위해 HSV 색상 보정을 수행.
• 사전 훈련된 모델을 사용하여 다중 모달 특징을 추출: 이미지 특징은 ResNet50, 딥 임베딩 특징은 OpenFace 2.2.0를 활용하고, 얼굴 랜드마크에서 AUs, 머리 자세, 시선을 추출.
• 시간적 특징에 대해 주제별 표준화(z-스코어)를 적용하여 개인별 상대적 변화를 강조하고, 개인 간 변동성을 감소시킴.
• 공통적인 딥 특징과 표준화된 특징을 융합하여 GRU 기반 순환 네트워크에 입력하여 2~3초 창에서 시간적 동적 특성 모델링.
• 얼굴가림 또는 감지 실패로 인해 프레임이 누락된 경우 선형 보간을 사용하여 시퀀스의 연속성 유지.
• N=2 또는 3초 길이의 시간적 입력 시퀀스를 L=6 프레임 간격으로 샘플링하고, 데이터 균형 조절 및 의사 레이블링을 적용하여 일반화 능력 향상.

실험 결과

연구 질문

• RQ1 개인별 표준화된 얼굴 특징을 통합함으로써 비구속적 영상 환경에서의 정서 인식 정확도 향상이 이루어지는가?
• RQ2 이미지, AUs, 머리 자세, 시선 등의 다중 모달 융합이 단일 모달 접근 방식을 초월하여 정서 추정 성능 향상에 기여하는가?
• RQ3 GRU 네트워크를 통한 시간적 동적 특성 모델링이 프레임 수준 기준 모델 대비 성능 향상에 얼마나 기여하는가?
• RQ4 시간적 특징의 차원 축소는 정서 인식에서 과적합 및 일반화 능력에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 ABAW 2021 챌린지 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ABAW 2021 검증 세트에서 얼굴 표현 분류 점수 0.546을 기록하여 기준 모델을 초월하고 이전 년도 대회 최고 점수와 동일한 성능을 달성하였다.
• 다중 모달 입력과 주제 표준화 특징을 모두 사용한 모델(Multi-modal-std4)이 가장 높은 F1 점수 0.488과 정확도 0.663을 기록하였다.
• 주제별 표준화가 성능 향상에 뚜렷하게 기여하여, 개인 내 상대적 얼굴 변화가 인간의 정서 인식에 핵심적이라는 가설을 지지하였다.
• 입력 특징 차원을 512에서 300으로 축소함으로써 일반화 능력 향상과 과적합 감소 효과를 보이며, 표현 점수를 0.534에서 0.546으로 상향 조정하였다.
• 검증 세트에서 정서의 연속적 차원인 정서도 및 각성도 추정 점수는 각각 0.245와 0.442로, 중간 수준의 성능을 보였다.
• 프레임 누락 보간 기법이 일시적인 얼굴 가림 또는 불안정성이 있는 영상에서 강인성을 향상시켰다.