[논문 리뷰] Facial Affect Recognition in the Wild Using Multi-Task Learning Convolutional Network

Zihang Zhang, Jianping Gu|arXiv (Cornell University)|2020. 02. 03.

Emotion and Mood Recognition참고 문헌 11인용 수 7

한 줄 요약

이 논문은 Aff-Wild2 데이터셋을 사용하여 다차원 정서(편안함과 자극성), 행동단위(AU) 검출, 일곱 가지 기본 정서 분류를 동시에 수행하는 MTANet를 제안한다. SENet-50 기반의 다중 작업 컨볼루션 신경망으로, 하드 파rameter 공유와 주의 메커니즘을 활용하여, 편안함에 대한 CCC는 0.28, 자극성에 대한 CCC는 0.34, AU 검출의 F1 점수는 0.427, 분류 정확도는 0.32를 달성한다.

ABSTRACT

This paper presents a neural network based method Multi-Task Affect Net(MTANet) submitted to the Affective Behavior Analysis in-the-Wild Challenge in FG2020. This method is a multi-task network and based on SE-ResNet modules. By utilizing multi-task learning, this network can estimate and recognize three quantified affective models: valence and arousal, action units, and seven basic emotions simultaneously. MTANet achieve Concordance Correlation Coefficient(CCC) rates of 0.28 and 0.34 for valence and arousal, F1-score of 0.427 and 0.32 for AUs detection and categorical emotion classification.

연구 동기 및 목표

• 자연스럽고 제약 없는 환경에서 다차원 정서(편안함과 자극성), 행동단위(AU) 검출, 기본 정서 분류를 동시에 수행할 수 있는 딥 러닝 모델을 개발한다.
• 다중 작업 학습을 통해 다양한 작업 간의 공유된 표현이 특징 학습과 일반화 능력을 향상시켜, 자연스러운 환경에서의 정서 인식 성능을 향상시킨다.
• 채널 별 주의(SeNet)와 다중 헤드 주의 메커니즘을 통합하여 얼굴 정서 인식에서 특징 표현의 품질을 향상시킨다.
• 다양한 모odal리티와 다중 작업 학습을 지원하는 대규모, 동적이고 완전히 애너테이션 처리된 Aff-Wild2 데이터셋을 활용해 모델을 평가한다.
• 다양한 정서적 작업을 동시에 학습할 경우, 단일 작업 기반 베이스라인 대비 모든 개별 작업에서 성능 향상이 이루어짐을 입증한다.

제안 방법

• MTANet는 정렬된 112×112 얼굴 이미지에서 2048차원 특징을 추출하기 위해 SENet-50을 공통 백본으로 사용하며, 평균 풀링, 맥스 풀링, 드롭아웃, ReLU를 적용해 특징를 정제한다.
• 하드 파rameter 공유 인코더를 사용해 세 가지 작업 간에 특징를 공유한다: 편안함/자극성 회귀, AU 다중 레이블 분류, 정서 분류.
• 디코더는 각각 편안함과 자극성에 대해 2차원, 여덟 개의 AU에 대해 8차원, 기본 정서에 대해 7차원의 출력을 가지는 완전 연결 층으로 구성된다.
• 손실 함수로는 정서 분류에 대해 다중 분류 교차 엔트로피, AU 검출에 대해 이진 교차 엔트로피, 편안함과 자극성의 회귀에 대해 공차 상관계수(Concordance Correlation Coefficient, CCC)를 사용한다.
• 동일 분산 불확실성 기반의 가중 총 손실을 적용하여, 작업별 손실 가중치를 엔드 투 엔드로 학습시켜 다중 작업 최적화의 균형을 이룬다.
• 모델는 Adam을 사용해 훈련하고, VGGFace2에서 사전 학습된 SENet-50을 활용해 SGD로 미세조정하며, Aff-Wild2 검증 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 자연스러운 환경에서 다차원 정서, FACS 기반, 정서 분류 모델을 동시에 개선할 수 있는 다중 작업 딥 러닝 프레임워크가 존재하는가?
• RQ2 채널 별 주의(SeNet) 통합이 제약 없는 조건에서 얼굴 정서 인식의 특징 표현을 어떻게 향상시키는가?
• RQ3 다양한 정서적 작업 간 하드 파rameter 공유가 단일 작업 기반 베이스라인 대비 더 나은 일반화와 성능을 이끌어내는가?
• RQ4 불확실성 기반 손실 균형을 갖춘 가중 다중 작업 학습이 이질적인 정서적 작업에서 수렴성과 성능 향상에 얼마나 기여하는가?
• RQ5 Proposed MTANet는 Aff-Wild2 벤치마크에서 CCC, F1 점수, 분류 정확도 측면에서 기존 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• MTANet는 Aff-Wild2 검증 세트에서 편안함에 대해 CCC 0.28, 자극성에 대해 CCC 0.34를 기록하여 베이스라인 방법을 초월했다.
• AU 검출에 대해 F1 점수 0.427, 정서 분류에 대해 0.32를 기록하여 다중 레이블 및 다중 클래스 작업에서 뛰어난 성능을 보였다.
• 검토된 백본 중에서 SENet-50가 가장 뛰어난 전체 성능을 기록했으며, ResNext-50 및 CBAM가 통합된 ResNext-50보다 더 높은 CCC와 F1 점수를 기록했다.
• 주의 메커니즘(SeNet) 통합으로 특징 표현이 크게 향상되었으며, 이는 주의 기반 베이스라인 대비 일관된 성능 향상을 보여주었다.
• 불확실성 기반 가중 손실로 미세조정한 결과, 단순 손실 합산 대비 성능 향상이 있었으며, 효과적인 작업 균형이 이루어졌음을 시사했다.
• 더 깊은 선형 헤드 설계는 성능 향상에 기여하지 않았으며, 기존 아키텍처가 이미 이 작업에 최적화되어 있음을 시사했다.