[논문 리뷰] A Multi-term and Multi-task Analyzing Framework for Affective Analysis in-the-wild

Sachihiro Youoku, Yuushi Toyoda외 5명|arXiv (Cornell University)|2020. 09. 29.

Emotion and Mood Recognition참고 문헌 20인용 수 4

한 줄 요약

이 논문은 Aff-Wild2 데이터셋의 영상 데이터를 사용하여 실외 환경에서 정서 분석을 위한 다항목, 다과제 프레임워크를 제안한다. 짧은, 중간, 긴 시간 창에 걸쳐 다중모odal 특징(행동 단위, 머리 자세, 시선, 자세, 딥 특징)을 추출하고, 시간 창 별로 모델을 앙상블하며, 다중과제 학습을 통해 정서 평가-각성도 및 표정 예측 과제를 융합하여, 정확도 평가 점수로는 정서 평가-각성도 0.498, 표정 0.471을 달성한다.

ABSTRACT

Human affective recognition is an important factor in human-computer interaction. However, the method development with in-the-wild data is not yet accurate enough for practical usage. In this paper, we introduce the affective recognition method focusing on valence-arousal (VA) and expression (EXP) that was submitted to the Affective Behavior Analysis in-the-wild (ABAW) 2020 Contest. Since we considered that affective behaviors have many observable features that have their own time frames, we introduced multiple optimized time windows (short-term, middle-term, and long-term) into our analyzing framework for extracting feature parameters from video data. Moreover, multiple modality data are used, including action units, head poses, gaze, posture, and ResNet 50 or Efficient NET features, and are optimized during the extraction of these features. Then, we generated affective recognition models for each time window and ensembled these models together. Also, we fussed the valence, arousal, and expression models together to enable the multi-task learning, considering the fact that the basic psychological states behind facial expressions are closely related to each another. In the validation set, our model achieved a valence-arousal score of 0.498 and a facial expression score of 0.471. These verification results reveal that our proposed framework can improve estimation accuracy and robustness effectively.

연구 동기 및 목표

• 실외 영상 데이터에서 빛의 세기, 자세, 표정의 변동성이 정서 인식을 어렵게 하는 점을 고려하여, 실생활 환경에서 정서 분석 정확도를 향상시키기 위해.
• 정서 표현이 서로 다른 시간 동적 특성을 보이며, 최적의 특징 캡처를 위해 다중 시간 척도 분석이 필요하다는 과제를 해결하기 위해.
• 정서 평가-각성도 및 얼굴 표정 예측 간의 다중과제 학습을 통해 모델의 강건성과 성능을 향상시키기 위해.
• OpenFace, ResNet50, EfficientNet, OpenPose 등의 모odal별로 특징 추출을 최적화하기 위해 차원 감소 및 중요도 기반 선택을 통해.
• 데이터 균형 조절, 시간 창 확장(3초 창 포함), 특징 선택의 효과를 검증하여 모델 일반화 능력을 향상시키기 위해.

제안 방법

• 사전 학습된 모델을 사용하여 영상 프레임에서 다중모달 특징을 추출: OpenFace(49D: AUs, 머리 자세, 시선), ResNet50/EfficientNet(2048D → PCA를 통한 200D/300D로 압축), OpenPose(75D 자세 특징).
• 짧은 시간 창(1초), 중간 시간 창(6초), 긴 시간 창(12초)을 적용하고, 0.2초의 이동 간격을 통해 다항목 특징을 생성하여 정서적 동적 신호를 캡처한다.
• 정서 평가-각성도(정규화 회귀, 커스텀 메트릭: 2×CCC − MSE)와 표정(다중클래스, 7개 클래스, 메트릭: Eq. 3)에 대해 별도의 LightGBM 모델을 훈련시킨다.
• 시간 창 별로 모델을 앙상블하며, 조기 정지 및 하이퍼파rameter 튜닝(learning_rate, num_leaves, max_depth, min_child_samples에 대한 그리드 서치)을 적용한다.
• 정서 평가-각성도 및 표정 예측 모델을 다중과제 학습을 통해 융합하여 공유 표현을 활용하고 일반화 능력을 향상시킨다.
• 데이터 균형 조절, 3초 창 포함, LightGBM 특징 중요도 기반 특징 선택을 통해 모델 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 다양한 시간 척도(짧은, 중간, 긴 시간)에서 정서 상태를 모델링하면 실외 영상에서 정서 평가-각성도 및 표정 추정 정확도가 향상되는가?
• RQ2 정서 평가-각성도 및 표정과 같은 다수의 인식 과제를 융합하면 단일 과제 모델보다 성능이 향상되는가?
• RQ3 다른 특징 추출 전략(예: ResNet50 대비 EfficientNet, PCA 감소, 특징 선택)이 모델의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ4 데이터 균형 조절 및 더 긴 시간 창(예: 3초) 포함 여부가 실생활 정서 영상 데이터에서 모델 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 다항목 모델링은 놀람(짧은 시간)이나 혼란(더 긴 시간)과 같은 정서 표현의 시간 동적 특성을 효과적으로 캡처할 수 있는가?

주요 결과

• 다항목 모델은 단일 시간 창 모델보다 우수한 성능을 보였으며, 검증 세트에서 정서 평가-각성도 점수는 0.396이었던 중간 시간 창 기반 베이스라인 대비 0.480으로 상승했다.
• 다중과제 모델은 정서 평가-각성도 점수 0.482, 표정 점수 0.432를 기록했으며, 베이스라인(각각 0.190 및 0.360)보다 유의미하게 뛰어났다.
• 3초 창을 포함하고 특징 선택을 적용함으로써 성능 향상이 이루어졌으며, 최고의 제출물(submit.4)은 정서 평가-각성도 점수 0.479, 표정 점수 0.495를 달성했다.
• 최종 모델은 EfficientNet, 데이터 균형 조절, 3초 창, 특징 추출을 통합하여 검증 세트에서 정서 평가-각성도 점수 0.498, 표정 점수 0.471를 기록했다.
• 절단 분석 결과, 데이터 균형 조절 및 특징 선택이 다양한 실외 조건에서의 강건성과 일반화 능력을 향상시키는 데 기여함을 확인했다.
• 결과는 다중과제 학습과 다항목 모델링이 함께 작용하여 시간 동적 특성과 공유된 정서 표현을 효과적으로 캡처함으로써 성능 향상을 이룬다는 것을 입증한다.