[논문 리뷰] Two-level Attention with Two-stage Multi-task Learning for Facial Emotion Recognition

Xiaohua Wang, Muzi Peng외 4명|arXiv (Cornell University)|2018. 11. 29.

Emotion and Mood Recognition참고 문헌 1인용 수 10

한 줄 요약

이 논문은 정적 이미지에서 얼굴 정서 인식을 위한 이중 수준 주의 및 이중 단계 다중 작업 학습 프레임워크(2Att-2Mt)를 제안한다. 위치 수준 및 계층 수준 주의 기반 메커니즘을 활용하여 특징 표현을 향상시키며, 同시에 조건부 및 조건부가 아닌 정서 표현 간의 상관관계를 고려하여 공액성과 각성도를 공동 예측한다. AffectNet에서 최고 성능을 기록하며, 공액성에 대해 CCC 0.714, 각성도에 대해 CCC 0.556를 달성하여 뛰어난 강인성과 일반화 능력을 입증한다.

ABSTRACT

Compared with facial emotion recognition on categorical model, the dimensional emotion recognition can describe numerous emotions of the real world more accurately. Most prior works of dimensional emotion estimation only considered laboratory data and used video, speech or other multi-modal features. The effect of these methods applied on static images in the real world is unknown. In this paper, a two-level attention with two-stage multi-task learning (2Att-2Mt) framework is proposed for facial emotion estimation on only static images. Firstly, the features of corresponding region(position-level features) are extracted and enhanced automatically by first-level attention mechanism. In the following, we utilize Bi-directional Recurrent Neural Network(Bi-RNN) with self-attention(second-level attention) to make full use of the relationship features of different layers(layer-level features) adaptively. Owing to the inherent complexity of dimensional emotion recognition, we propose a two-stage multi-task learning structure to exploited categorical representations to ameliorate the dimensional representations and estimate valence and arousal simultaneously in view of the correlation of the two targets. The quantitative results conducted on AffectNet dataset show significant advancement on Concordance Correlation Coefficient(CCC) and Root Mean Square Error(RMSE), illustrating the superiority of the proposed framework. Besides, extensive comparative experiments have also fully demonstrated the effectiveness of different components.

연구 동기 및 목표

• 실세계(인간의 자연스러운 환경) 설정에서 정적 이미지에서 정확한 차원적 얼굴 정서 인식의 과제를 해결한다.
• 이전 방법이 영상, 음성 또는 다중 모odal 데이터에 의존하는 데에 한계가 있음을 고려하여, 오직 정적 이미지에만 초점을 맞춘다.
• 공간적 및 계층적 관계를 모두 포착하기 위해 위치 수준 및 계층 수준 주의 기반 메커니즘을 통합하여 특징 표현을 향상시킨다.
• 범주형 및 차원적 정서 표현 간의 상관관계를 활용하여 공액성과 각성도 예측 성능을 향상시킨다.
• 재귀 단계에서 Tukey의 이중 손실 함수를 적용하여 노이즈가 많거나 잘못 레이블링된 데이터에 대한 강인성을 향상시킨다.

제안 방법

• 얼굴 이미지에서 자동으로 위치 수준 특징(지역적 특징)을 추출하고 강화하기 위해 잔차 주의 블록을 활용한다.
• 양방향 RNN과 자기 주의 기반 메커니즘을 사용하여 장거리 의존성과 다양한 네트워크 계층 간의 특징 간 관계를 모델링한다(계층 수준 특징).
• 이중 단계 다중 작업 학습 구조를 구현한다: 먼저 범주형 정서(예: 에크먼의 6가지 기본 정서)를 예측하고, 이후 이 예측 결과를 바탕으로 연속적인 공액성과 각성도 예측을 유도하고 향상시킨다.
• 공유 및 작업별 헤드를 공동으로 사용하여 공액성과 각성도를 회귀 예측하며, 이들의 내재된 상관관계를 활용하여 일반화 능력을 향상시킨다.
• 회귀 단계에서 Tukey의 이중 손실 함수를 적용하여 이방성 또는 잘못 레이블링된 샘플의 영향을 억제하고 모델 강인성을 향상시킨다.
• 48×48 입력 해상도를 사용하여 AffectNet 데이터셋에서 전체 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 이중 수준 주의 기반 메커니즘이 정적 이미지에서 얼굴 정서 인식의 특징 표현을 효과적으로 향상시킬 수 있는가?
• RQ2 범주형 정서 예측을 공액성과 각성도의 회귀에 통합함으로써, 차원적 정서 추정 성능이 향상되는가?
• RQ3 이중 단계 다중 작업 학습 구조는 공액성, 각성도 및 범주형 정서 간의 상관관계를 얼마나 효과적으로 활용하는가?
• RQ4 Tukey의 이중 손실 함수는 노이즈가 많거나 잘못 레이블링된 데이터에 대한 강인성을 얼마나 향상시키는가?
• RQ5 제안된 프레임워크는 재학습 없이도 차원적 및 범주형 정서 인식 작업에 잘 일반화되는가?

주요 결과

• 제안된 2Att-2Mt 프레임워크는 AffectNet 데이터셋에서 공액성에 대해 CCC 0.714, 각성도에 대해 CCC 0.556를 기록하여 기준 모델을 크게 앞서는 성능을 달성한다.
• Tukey의 이중 손실 함수 적용으로 평균 CCC가 0.635(비교 대조군: MSE 손실 0.625)로 0.005 향상되어 이방성에 대한 강인성이 향상됨을 입증한다.
• 이중 단계 다중 작업 학습 구조는 범주형 표현을 기반으로 연속 정서 회귀를 유도함으로써 성능 향상을 이끌어내며, 특히 더 어려운 각성도 예측에 유의미한 기여를 한다.
• 아키텍처 변경 없이 직접적인 얼굴 표정 분류(7개 클래스)에서 0.48의 정확도를 달성하여, 회귀 학습을 위해 훈련되었음에도 불구하고 강력한 일반화 능력을 보임을 시사한다.
• 제거 실험 결과, 이중 수준 주의 및 이중 단계 다중 작업 학습 구성 요소가 모두 필수적임을 확인하였으며, 각각 최종 성능 향상에 기여하는 데 기여하였다.
• 48×48 입력 크기에서도 최고 성능을 기록하여, 이전 연구에서 사용하는 더 큰 입력 해상도에 비해 낮은 해상도에서도 효과적임을 입증한다.