[논문 리뷰] Feature Pyramid Network for Multi-task Affective Analysis

Ruian He, Zhen Xing외 2명|arXiv (Cornell University)|2021. 07. 08.

Emotion and Mood Recognition참고 문헌 42인용 수 8

한 줄 요약

이 논문은 Aff-Wild2 데이터셋에서 누락된 레이블을 다루기 위해 계층적 특징과 교사-학생 훈련 전략을 활용한 기능 피라미드 네트워크(FPN)-기반 다중 작업 모델을 제안한다. 이 모델은 공감-각성, 얼굴 표정, 동작 단위의 동시 예측을 위해 설계되었으며, 주요 평가 지표에서 베이스라인 모델보다 2%에서 10% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Affective Analysis is not a single task, and the valence-arousal value, expression class, and action unit can be predicted at the same time. Previous researches did not pay enough attention to the entanglement and hierarchical relation of these three facial attributes. We propose a novel model named feature pyramid networks for multi-task affect analysis. The hierarchical features are extracted to predict three labels and we apply a teacher-student training strategy to learn from pretrained single-task models. Extensive experiment results demonstrate the proposed model outperforms other models. This is a submission to The 2nd Workshop and Competition on Affective Behavior Analysis in the wild (ABAW). The code and model are available for research purposes at https://github.com/ryanhe312/ABAW2-FPNMAA.

연구 동기 및 목표

• 공감-각성, 얼굴 표정, 동작 단위를 동시에 예측함으로써 다중 작업 공감 분석의 과제를 해결한다.
• 기능 피라미드 네트워크를 통해 얼굴 공감 특성의 계층적이고 얽힌 성격을 활용한다.
• 레이블이 누락된 경우가 많은 Aff-Wild2 데이터셋의 데이터 희소성 문제를 교사-학생 훈련 전략을 통해 해결한다.
• 실생활의 제약 없는 얼굴 데이터에 대한 모델 일반화 능력과 성능을 향상시킨다.

제안 방법

• 얼굴 이미지에서 다중 척도의 계층적 특징을 추출하기 위해 기능 피라미드 네트워크(FPN) 백본을 사용한다.
• 공유된 특징에서 다중 FPN 레이어의 특징을 융합하여, 공감-각성, 표정, 동작 단위 예측을 위한 세 개의 작업별 분류 헤드를 각각 연결한다.
• 레이블이 불완전한 샘플에서 사전 훈련된 단일 작업 모델이 다중 작업 모델을 안내하는 교사-학생 정규화 전략을 적용한다.
• 모델의 다양성과 강건성을 향상시키기 위해 Aff-Wild2 데이터셋에 ExpW와 AffectNet을 추가로 증강한다.
• 작업별 지표(ICC, F1, TAcc)를 동시에 최적화하기 위해 가중치가 부여된 손실 조합을 사용하여 다중 작업 학습을 수행한다.
• 분류 헤드의 절대 가중치를 시각화하여 레이어 수준의 기여도를 분 析한다.

실험 결과

연구 질문

• RQ1 공유된 특징 피라미드 백본은 공감-각성, 얼굴 표정, 동작 단위 간의 계층적이고 얽힌 관계를 효과적으로 모델링할 수 있는가?
• RQ2 다양한 작업에서 레이블이 누락되거나 불완전한 경우, 다중 작업 모델은 어떻게 효과적으로 훈련될 수 있는가?
• RQ3 사전 훈련된 단일 작업 모델에서의 지식 정규화가 다중 작업 공감 분석 성능 향상에 기여하는가?
• RQ4 외부 데이터셋(ExpW, AffectNet)에서의 데이터 증강이 Aff-Wild2 벤치마크에서의 모델 일반화 능력 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 다중 작업 FPN 모델은 공식 베이스라인 및 MobileNet, ResNet 등의 다른 모델보다 주요 평가 지표에서 2%에서 10% 향상된 성능을 달성한다.
• ExpW와 AffectNet를 사용한 데이터 증강으로 공감-각성 및 표정 예측 점수가 약 10% 향상되었다.
• 교사-학생 훈련 전략이 성능 향상에 크게 기여하였으며, 특히 레이블이 누락된 샘플에서 효과적인 다중 작업 학습이 가능했다.
• 특징 시각화 결과, 공감-각성 예측은 초기 FPN 레이어(예: 레이어 1)에 의존하는 경향을 보였고, 동작 단위 예측은 더 깊은 레이어(레이어 3–4)를 주로 활용하였다.
• 모델는 Aff-Wild2 검증 세트에서 최신 기술 수준의 성능을 달성하여, 세 가지 공감 특성의 동시 예측에서 뛰어난 성능을 입증하였다.