[논문 리뷰] A Multi-Task Learning & Generation Framework: Valence-Arousal, Action Units & Primary Expressions.

Dimitrios Kollias, Stefanos Zafeiriou|arXiv (Cornell University)|2018. 11. 11.

Emotion and Mood Recognition참고 문헌 39인용 수 46

한 줄 요약

이 논문은 대규모 실외 환경 데이터셋을 사용하여 정서 평가(Valence-Arousal, VA), 얼굴 동작 단위(Action Units, AUs), 기본 얼굴 표정의 동시 예측을 위한 다중 작업 학습 및 생성적 프레임워크를 제안한다. Aff-Wild 데이터셋의 일부에 대해 새로운 애너테이션을 도입하고, GAN 기반 생성기와 판별기와 함께 공유되는 딥 네ural 네트워크를 활용하여, 작업별 손실 함수를 통한 동시 최적화를 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Over the past few years many research efforts have been devoted to the field of affect analysis. Various approaches have been proposed for: i) discrete emotion recognition in terms of the primary facial expressions; ii) emotion analysis in terms of facial Action Units (AUs), assuming a fixed expression intensity; iii) dimensional emotion analysis, in terms of valence and arousal (VA). These approaches can only be effective, if they are developed using large, appropriately annotated databases, showing behaviors of people in-the-wild, i.e., in uncontrolled environments. Aff-Wild has been the first, large-scale, in-the-wild database (including around 1,200,000 frames of 300 videos), annotated in terms of VA. In the vast majority of existing emotion databases, their annotation is limited to either primary expressions, or valence-arousal, or action units. In this paper, we first annotate a part (around $234,000$ frames) of the Aff-Wild database in terms of $8$ AUs and another part (around $288,000$ frames) in terms of the $7$ basic emotion categories, so that parts of this database are annotated in terms of VA, as well as AUs, or primary expressions. Then, we set up and tackle multi-task learning for emotion recognition, as well as for facial image generation. Multi-task learning is performed using: i) a deep neural network with shared hidden layers, which learns emotional attributes by exploiting their inter-dependencies; ii) a discriminator of a generative adversarial network (GAN). On the other hand, image generation is implemented through the generator of the GAN. For these two tasks, we carefully design loss functions that fit the examined set-up. Experiments are presented which illustrate the good performance of the proposed approach when applied to the new annotated parts of the Aff-Wild database.

연구 동기 및 목표

• 정서 분석을 위한 대규모, 다중 애너테이션 실외 데이터셋의 부족을 해결하기 위해.
• 공유 표현을 활용하여 정서 평가(Valence-Arousal), 얼굴 동작 단위, 기본 얼굴 표정의 동시 학습을 가능하게 하기 위해.
• 데이터 다양성과 모델 일반화를 향상시키는 생성적 적대적 네트워크(GAN) 프레임워크를 개발하기 위해.
• 다양한 정서 표현 작업 간의 상호의존성을 활용하여 정서 인식 성능을 향상시키기 위해.

제안 방법

• Aff-Wild의 234,000 프레임을 8개의 동작 단위에 대해, 288,000 프레임을 7개의 기본 얼굴 표정에 대해 애너테이션 처리하였다.
• VA, AUs, 기본 표정을 동시에 학습할 수 있도록 공유된 은닉층을 갖춘 딥 네ural 네트워크를 설계하였다.
• 생성기(GAN의 생성기)가 현실적인 얼굴 이미지를 생성하고, 판별기(GAN의 판별기)가 다중 작업 분류/회귀를 수행하도록 GAN 프레임워크를 통합하였다.
• VA에 대해 CCC, AUs 및 표정 분류에 대해 교차 엔트로피, 회귀에 대해 MSE를 조합한 복합 손실 함수를 제안하였다.
• GAN 판별기를 다중 작업 분류기 및 회귀기로 활용하여, 반감독 학습의 이점을 얻었다.
• 학습률과 손실 가중치 계수(α, β)를 포함한 하이퍼파ram터를 최적화하여 각 작업의 기여도를 균형 있게 조절하였다.

실험 결과

연구 질문

• RQ1 단일 작업 학습에 비해 공유 표현을 활용한 동시 다중 작업 학습이 정서 평가, 동작 단위, 기본 표정 예측 성능을 향상시키는가?
• RQ2 GAN 기반 생성기가 정서 인식에서 데이터 품질 향상과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 공유 표현을 고려할 때, 다중 작업 정서 인식에 최적의 손실 함수 조합은 무엇인가?
• RQ4 GAN의 판별기가 정서 평가, AUs, 기본 표정에 대해 다중 작업 분류기로 효과적으로 활용될 수 있는가?
• RQ5 다양한 손실 함수 조합과 하이퍼파ram터 설정이 모든 작업의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 최고 성능 모델은 정서 평가에 대해 CCC 0.616(정서), 0.510(활동), 가중 F1 점수 0.643, 총 정확도 0.645를 기록하였다.
• α=β=0.5인 다중 작업 모델은 단일 작업 기반 모델(단일 VA: CCC=0.579; 단일 표정: F1=0.488)을 능가하여 동시 학습의 이점을 입증하였다.
• VA에 대해 CCC 기반 손실, 표정에 대해 교차 엔트로피 손실를 사용하고 학습률을 10−3으로 설정한 조합이 모든 지표에서 최고의 성능을 보였다.
• GAN 판별기가 VA 회귀와 AUs 분류를 동시에 수행할 때 총 정확도 0.667을 기록하여 단일 작업 설정을 초월하였다.
• 생성기는 실외 환경 특성(예: 자세 변화, 조명, 가림)을 효과적으로 학습하여 현실적인 이미지를 생성하여 훈련 데이터의 다양성을 향상시켰다.
• α=β=0.5 조합을 사용한 모델은 단일 작업 학습 대비 표정 예측에서 F1 점수 6.7% 향상, 총 정확도 10.5% 향상된 성능을 기록하였다.