[논문 리뷰] A Multi-component CNN-RNN Approach for Dimensional Emotion Recognition in-the-wild

Dimitrios Kollias, Stefanos Zafeiriou|arXiv (Cornell University)|2018. 05. 03.

Emotion and Mood Recognition참고 문헌 20인용 수 27

한 줄 요약

이 논문은 OMG-Emotion 및 Aff-Wild 데이터셋에서 얻은 시각적 데이터를 활용하여, 자연스러운 환경에서 연속적인 감정 인식을 위한 다중 구성 요소 CNN-RNN 아키텍처를 제안한다. VGG-16 및 ResNet-50 백본을 스택된 GRU와 앙상블 융합 기법을 결합함으로써, 후처리를 거친 후 OMG-Emotion 검증 세트에서 총상관관계(Concordance Correlation Coefficient, CCC)가 0.496로 발성에 대해, 0.311로 각성에 대해 최신 기술 수준(SOTA) 성능을 달성하였으며, 기준 모델보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

This paper presents our approach to the One-Minute Gradual-Emotion Recognition (OMG-Emotion) Challenge, focusing on dimensional emotion recognition through visual analysis of the provided emotion videos. The approach is based on a Convolutional and Recurrent (CNN-RNN) deep neural architecture we have developed for the relevant large AffWild Emotion Database. We extended and adapted this architecture, by letting a combination of multiple features generated in the CNN component be explored by RNN subnets. Our target has been to obtain best performance on the OMG-Emotion visual validation data set, while learning the respective visual training data set. Extended experimentation has led to best architectures for the estimation of the values of the valence and arousal emotion dimensions over these data sets.

연구 동기 및 목표

• 자연스러운 영상에서의 연속적인 감정 인식(발성 및 각성)을 위한 딥 러닝 아키텍처를 개발한다.
• Aff-Wild 데이터베이스에서 미리 학습된 CNN-RNN 모델을 확장 및 변형하여 OMG-Emotion 챌린지에서의 성능을 향상시킨다.
• 다양한 특징 융합 및 앙상블 학습 전략을 탐색하여 자연스러운 얼굴 표정에 대한 일반화 및 강인성을 향상시킨다.
• 최적의 성능을 위해 네트워크 깊이, 완전 연결층, 드롭아웃, 학습률 등의 하이퍼파라미터를 최적화한다.
• 후처리 기법이 발성 및 각성 차원의 회귀 출력을 보정하는 데 얼마나 효과적인지 평가한다.

제안 방법

• 다양한 특징을 CNN 구성 요소(VGG-16 또는 ResNet-50)에서 추출한 후, 각각 별도의 RNN 하위망(GRUs)을 통해 얼굴 시퀀스의 시간적 동역학을 모델링하는 다중 구성 요소 CNN-RNN 아키텍처를 사용한다.
• 더 뛰어난 성능 및 더 빠른 수렴 속도를 보이므로, LSTMs 대신 게이트형 순환 단위(Gated Recurrent Units, GRUs)를 사용하며, 두 층으로 구성된 GRU 아키텍처가 최적임을 확인하였다.
• 과적합을 방지하기 위해 완전 연결층 사이에는 드롭아웃 확률 0.5를, GRU 층 사이에는 0.2를 적용한다.
• 다양한 모델의 예측을 융합하는 앙상블 학습 기법을 적용하며, 출력 이전에 중간 완전 연결층이 있는지 여부에 따라 VGG-16 및 ResNet-50 변형 모델을 포함한 여러 모델의 예측을 융합한다.
• 학습률(0.001), 배치 크기(80), 뉴런 수(첫 번째 FC에서 4096, 두 번째에서 2048) 등 다양한 하이퍼파라미터를 광범위한 실험을 통해 최적화한다.
• 원시 회귀 출력을 개선하기 위해 후처리 기법을 적용하여 검증 세트에서 상관계수를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 구성 요소 CNN-RNN 아키텍처는 제약 없는 자연스러운 환경에서 연속적인 감정 인식을 위한 시간적 얼굴 동역학을 효과적으로 모델링할 수 있는가?
• RQ2 VGG-16와 ResNet-50 중 어떤 CNN 백본을 선택하는 것이 OMG-Emotion 데이터셋에서 발성 및 각성 추정 성능에 영향을 미치는가?
• RQ3 검증 세트에서 성능을 최대화하기 위해 RNN 깊이, 완전 연결층, 드롭아웃 비율의 최적 구성은 무엇인가?
• RQ4 다양한 CNN-RNN 모델의 앙상블 융합은 단일 모델 대비 일반화 및 성능 향상에 얼마나 기여하는가?
• RQ5 후처리 기법은 발성 및 각성 차원의 회귀 출력을 보정하는 데 얼마나 효과적인가?

주요 결과

• 최고의 성능을 보인 모델은 VGG-16 기반의 CNN-3RNN 및 마지막 컨벌루션 특징 추출 방식으로, 후처리 이전 검증 세트에서 발성에 대해 CCC 0.456, 각성에 대해 0.246를 기록하였다.
• 후처리를 적용한 최고의 앙상블 모델(VGG-16-FC-RNN + ResNet-50-RNN + 출력층)은 발성에 대해 CCC 0.4845, 각성에 대해 0.2886를 달성하였으며, 기준 모델 대비 발성에서 7.7% 상대적 향상, 각성에서 3.5% 향상된 성능을 보였다.
• VGG-16 기반 모델이 ResNet-50 기반 모델보다 뛰어난 성능을 보였으며, 최고의 VGG-16 모델(CNN-3RNN-last-conv)은 발성에 대해 0.456 CCC, 각성에 대해 0.246 CCC를 기록하였다.
• LSTM 대비 GRU를 사용함으로써 성능 향상이 뚜렷했으며, 모든 구성에서 GRU 기반 모델이 일관되게 개선된 성능을 보였다.
• 다양한 백본(VGG-16 및 ResNet-50)을 사용한 모델의 앙상블 융합이 가장 높은 성능을 달성하였으며, 이는 회귀 과제에서 모델 다양성의 이점이 있음을 시사한다.
• 후처리 기법이 모델 출력을 크게 향상시켰으며, 이는 원시 회귀 예측값을 추가로 보정하여 진짜 발성 및 각성 값과의 상관계수를 향상시킬 수 있음을 나타낸다.