[논문 리뷰] EmoNets: Multimodal deep learning approaches for emotion recognition in video

Samira Ebrahimi Kahou, Xavier Bouthillier외 16명|arXiv (Cornell University)|2015. 03. 05.

Emotion and Mood Recognition참고 문헌 29인용 수 41

한 줄 요약

이 논문은 얼굴 특징에 대해 복소 신경망(CNN), 청각에 대해 심층 신뢰망(DBN), 국소적 시각적 자극에 대해 백-오브-마우스 모델, 시공간적 동역학에 대해 상호관계 자동에코더를 사용하는 네 가지 전문화된 모델을 활용한 다중모달 딥러닝 프레임워크인 EmoNets를 제안한다. 무작위 검색을 통해 가중 평균 방식으로 이러한 모odal별 예측을 융합함으로써, 2014년 AFEW 데이터셋에서 테스트 정확도 47.67%를 달성하였으며, 개별 모델을 초월하여 2013년 EmotiW 경연에서 우승을 차지하였다.

ABSTRACT

The task of the emotion recognition in the wild (EmotiW) Challenge is to assign one of seven emotions to short video clips extracted from Hollywood style movies. The videos depict acted-out emotions under realistic conditions with a large degree of variation in attributes such as pose and illumination, making it worthwhile to explore approaches which consider combinations of features from multiple modalities for label assignment. In this paper we present our approach to learning several specialist models using deep learning techniques, each focusing on one modality. Among these are a convolutional neural network, focusing on capturing visual information in detected faces, a deep belief net focusing on the representation of the audio stream, a K-Means based "bag-of-mouths" model, which extracts visual features around the mouth region and a relational autoencoder, which addresses spatio-temporal aspects of videos. We explore multiple methods for the combination of cues from these modalities into one common classifier. This achieves a considerably greater accuracy than predictions from our strongest single-modality classifier. Our method was the winning submission in the 2013 EmotiW challenge and achieved a test set accuracy of 47.67% on the 2014 dataset.

연구 동기 및 목표

• 자세, 조명, 표정의 변동성이 높은 실생활 조건에서 비디오 감정 인식 성능을 향상시키기 위해.
• AFEW 데이터셋에서 감정 클래스별 레이블이 제한된 문제를 해결하기 위해 대규모 외부 데이터를 활용한 딥러닝을 통해.
• 다양한 모달 특화 딥러닝 모델(시각, 청각, 시공간, 국소적 얼굴 특징)의 예측을 융합하는 강건한 방법을 개발하기 위해.
• 복잡한 앙상블 초모수 튜닝 대신 단순하고 제약된 집계 기법을 사용하여 개별 모델의 과적합을 완화하기 위해.
• 다중모달 표현의 효과적 융합을 통해 2014년 EmotiW 경연에서 최고 성능을 달성하기 위해.

제안 방법

• 경쟁 데이터에 과적합되지 않도록, Google 이미지 검색에서 확보한 외부 얼굴 이미지 데이터를 기반으로 딥 컨볼루션 신경망(ConvNet)을 훈련하여 검출된 얼굴에서 시각적 특징을 추출하였다.
• 청각 스트림에서 계층적 청각 표현을 학습하기 위해 심층 신뢰망(DBN)을 활용하여, 어조적 및 언어적 단서를 포착하였다.
• 구성된 K-평균 기반의 '백-오브-마우스' 모델을 구현하여 입술 영역에서의 시각적 특징을 추출하고 인코딩하였으며, 동적인 얼굴 운동에 집중하였다.
• 비디오 프레임 간의 시공간적 의존성을 모델링하기 위해 상호관계 자동에코더를 사용하여 얼굴 표정의 시간적 동역학을 학습하였다.
• 무작위 검색을 통해 검증 세트에서 최적화된 가중 평균 전략을 사용하여 네 개의 모든 모델 예측을 융합하였다. 이는 과적합을 방지하기 위함이었다.
• 가중 평균의 출력에 최종 분류기(SVM 또는 MLP)를 적용하였지만, 복잡한 집계 방법보다 단순한 가중 평균 자체가 더 높은 성능을 보였다.

실험 결과

연구 질문

• RQ1 외부 데이터에서 훈련된 다중모달 딥러닝 모델이 비디오 감정 인식 작업에서 자원이 제한된 환경에서 성능 향상에 기여하는가?
• RQ2 다양한 모달 특화 딥러닝 모델의 예측을 단순한 가중 평균으로 융합하는 것이 복잡한 앙상블 학습 전략보다 얼마나 효과적인가?
• RQ3 개별 모델의 과적합이 전통적인 앙상블 방법을 저해하는 정도는 어느 정도이며, 더 단순한 집계 기법이 이를 완화할 수 있는가?
• RQ4 대규모이고 청결한 얼굴 이미지 데이터에서 사전 훈련한 모델이, 다양한 조명과 자세로 인해 노이즈가 많은 작은 비디오 데이터셋에 맞추기 위해 미세조정할 때 일반화 성능을 향상시키는가?
• RQ5 제약이 있고 복잡도가 낮은 집계 방법이 감정 인식을 위한 앙상블 모델에서 기존의 초모수 튜닝 기법을 능가할 수 있는가?

주요 결과

• 외부 얼굴 데이터에서 사전 훈련된 컨볼루션 네트워크가 2013년 테스트 세트에서 35.58%의 정확도를 기록하여, 경연 데이터로만 훈련된 모델보다 뛰어난 성능을 보였다.
• 무작위 검색을 통해 가중 평균 방식으로 다수의 모달 특화 모델을 융합함으로써 2013년 데이터셋에서 테스트 정확도가 41.03%로 향상되었으며, 두 번째로 높은 성능을 기록한 경쟁자(35.89%)를 초월하였다.
• 2014년 AFEW 데이터셋에서 최종 모델은 47.67%의 테스트 정확도를 기록하여 상위 제출 성과로 랭크되었으며, 다른 딥러닝 융합 방법을 사용한 우승자(50.37%)에 비해 낮은 성능이었지만, 이는 우수한 성능을 달성한 것으로 평가된다.
• 350개의 독립적으로 검색된 가중 평균의 배깅은 정확도가 45.45%로 낮아졌으며, 이는 복잡한 모델의 앙상블 평균화가 철저히 제약 없이 수행될 경우 성능 저하를 초래할 수 있음을 시사한다.
• SVM 및 MLP의 초모수 튜닝이 모델 출력에 적용되었을 때, 특히 백-오브-마우스 및 활동 인식 모델에서 과적합으로 인해 검증 성능 향상에 실패하였다.
• 연구는 개별 전문가 모델이 과적합할 경우, 단순하고 복잡도가 낮은 집계(예: 가중 평균)가 복잡한 앙상블 모델보다 더 효과적임을 결론 내렸으며, 이는 다중모달 감정 인식 전략의 전환을 시사한다.