[논문 리뷰] How Deep Neural Networks Can Improve Emotion Recognition on Video Data

Pooya Khorrami, Tom Le Paine외 3명|arXiv (Cornell University)|2016. 02. 24.

Emotion and Mood Recognition참고 문헌 13인용 수 10

한 줄 요약

이 논문은 영상 데이터에서 연속 감정 인식을 위한 CNN+RNN 프레임워크를 제안한다. 여기서 컨볼루션 네트워크는 프레임 수준의 특징을 추출하고, 순환 네트워크는 시간적 동역학을 모델링한다. 이 방법은 AV+EC 2015 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, CCC 점수는 0.507을 기록하여 기준 모델을 능가하고, 연속 감정 예측을 위한 엔드 투 엔드 딥 러닝의 효과성을 입증한다.

ABSTRACT

We consider the task of dimensional emotion recognition on video data using deep learning. While several previous methods have shown the benefits of training temporal neural network models such as recurrent neural networks (RNNs) on hand-crafted features, few works have considered combining convolutional neural networks (CNNs) with RNNs. In this work, we present a system that performs emotion recognition on video data using both CNNs and RNNs, and we also analyze how much each neural network component contributes to the system's overall performance. We present our findings on videos from the Audio/Visual+Emotion Challenge (AV+EC2015). In our experiments, we analyze the effects of several hyperparameters on overall performance while also achieving superior performance to the baseline and other competing methods.

연구 동기 및 목표

• 기존의 수작업으로 만든 특징과 비교해 딥 네트워크가 영상 데이터에서 차원적 감정 인식 성능을 향상시킬 수 있는지 조사하기.
• 컨볼루션 신경망(CNNs)과 순환 신경망(RNNs)이 시간적 감정 동역학을 모델링하는 데 개별적으로나 함께 기여하는 정도를 평가하기.
• 연속된 발성 예측 성능 향상을 위해 윈도우 길이, 은닉 유닛 수, RNN 깊이 등의 하이퍼파라미터를 최적화하기.
• AV+EC 2015 벤치마크에서 제안된 CNN+RNN 모델을 기존 최신 기술 수준의 방법들과 비교하기.

제안 방법

• 단일 프레임 CNN은 3개의 컨볼루션 레이어(64, 128, 256 필터), ReLU 활성화 함수, 맥스 풀링, 그리고 300개의 유닛을 가진 완전 연결 레이어를 포함하여 개별 영상 프레임의 공간적 특징을 추출한다.
• CNN은 동결되어 고정된 특징 추출기로 사용되며, 그 300차원 출력은 RNN에 입력되어 시간적 의존성을 모델링한다.
• RNN의 입력으로 W개의 프레임으로 구성된 시간 윈도우가 사용되며, 최종 RNN 출력은 각 시점에서의 발성 점수를 예측한다.
• RNN은 게이트드 순환 유닛(GRUs)을 사용하며, ReLU 또는 tanh 활성화 함수를 적용하고, 평균 제곱오차 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.
• 성능 최적화를 위해 윈도우 크기(W), 은닉 유닛 수(h), RNN 레이어 수를 포함한 하이퍼파라미터 튜닝을 수행한다.
• 성능 평가에는 RMSE, 피어슨 상관계수(CC), 협의성 상관계수(CCC)를 사용하며, CCC가 주요 평가 지표로 사용된다.

실험 결과

연구 질문

• RQ1 단일 프레임 CNN이 영상 데이터에서 수작업으로 만든 특징 기반 모델보다 차원적 감정 인식 성능을 뛰어나게 할 수 있는가?
• RQ2 시간적 동역학을 모델링할 때 RNN 구성 요소를 추가함으로써 연속 감정 예측 성능이 얼마나 향상되는가?
• RQ3 발성 회귀에 대한 CNN+RNN 아키텍처에서 윈도우 길이, 은닉 유닛 수, RNN 깊이 등의 최적 하이퍼파라미터 조합은 무엇인가?
• RQ4 AV+EC 2015 데이터셋에서 CNN+RNN 모델은 CCC, CC, RMSE 측면에서 다른 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• CNN+RNN 모델은 AV+EC 2015 개발 세트에서 CCC 점수 0.507을 기록하여 기준 방법(ICC: 0.273)과 다른 경쟁 모델들을 능가했다.
• Dropout를 적용한 단일 프레임 CNN(CNN+D)는 CCC 0.326을 기록하여, 학습된 특징만으로도 수작업 특징 기반 기준 모델을 능가할 수 있음을 보여주었다.
• RNN에 대한 최적의 시간 윈도우 길이는 100 프레임(~4초)으로, 이로 인해 CCC가 최고 수준에 도달했으며, 이보다 짧거나 긴 윈도우는 성능 저하를 초래했다.
• 은닉 유닛 수 100이 가장 균형 잡힌 성능을 보였으며, 50개나 200개의 유닛을 사용한 경우 성능이 떨어졌다.
• RNN에 3개의 은닉 레이어를 사용한 것이 1개나 2개 레이어보다 약간 더 높은 성능을 보였으며, 3층 모델의 CCC는 0.507이었다.
• RNN에서 ReLU 활성화 함수가 tanh보다 성능이 뛰어나, CCC 0.506을 기록한 반면 tanh는 0.492를 기록하여, 더 나은 기울기 전파와 표현 학습이 가능함을 시사했다.