[논문 리뷰] Spatiotemporal Networks for Video Emotion Recognition

Lijie Fan, Yunjie Ke|arXiv (Cornell University)|2017. 04. 03.

Video Surveillance and Tracking Methods인용 수 3

한 줄 요약

이 논문은 비디오 감정 인식에서 시각적 및 청각 모odal을 효과적으로 통합하기 위해 CNN-LSTM를 사용한 시공간 딥러닝 프레임워크와 기존의 SVM을 조합하여 제안한다. 이는 AFEW 6.0 데이터셋에서 강력한 성능을 달성한다.

ABSTRACT

Our experiment adapts several popular deep learning methods as well as some traditional methods on the problem of video emotion recognition. In our experiment, we use the CNN-LSTM architecture for visual information extraction and classification and utilize traditional methods such as for audio feature classification. For multimodal fusion, we use the traditional Support Vector Machine. Our experiment yields a good result on the AFEW 6.0 Dataset.

연구 동기 및 목표

• 딥러닝과 기존 기계학습 방법의 비디오 감정 인식에서의 효과성을 조사하기 위해.
• 비디오 시퀀스에서 공간적 얼굴 특징과 시간적 동적 특징을 모두 포착하는 시공간 아키텍처를 설계하기 위해.
• 시각적 및 청각적 특징을 위한 기존 방법(예: SVM)을 사용한 다중모odal 융합을 평가하기 위해.
• AFEW 6.0 데이터셋에서 성능을 벤치마킹하기 위해. 이는 얼굴 감정 인식의 표준 벤치마크이다.

제안 방법

• 시각적 모달은 비디오 프레임에서 시공간적 특징을 추출하기 위해 CNN-LSTM 아키텍처를 사용하여 처리된다.
• 청각적 특징은 추출되고, 기존 기계학습 방법을 사용하여 분류된다.
• 다중모달 융합은 시각적 및 청각적 예측을 통합하기 위해 지지벡터기계(SVM)를 사용하여 수행된다.
• 모델은 다양한 얼굴 표정을 포함한 비디오 형태의 AFEW 6.0 데이터셋에서 훈련 및 평가된다.
• 딥러닝을 통한 특징 학습의 강점을 살리고, 기존 방법을 통한 견고한 융합을 구현하기 위해 이 방법을 활용한다.

실험 결과

연구 질문

• RQ1 CNN-LSTM와 기존 방법이 결합되었을 때 비디오 감정 인식에서 얼마나 잘 작동하는가?
• RQ2 SVM 기반 융합은 시각적 및 청각적 특징을 효과적으로 통합하여 인식 정확도를 향상시킬 수 있는가?
• RQ3 이 하이브리드 접근 방식은 AFEW 6.0 벤치마크 데이터셋에서 어떤 성능을 보이는가?
• RQ4 CNN-LSTM가 비디오 시퀀스에서 얼굴 표정의 시간적 동적 특징을 어떻게 효과적으로 포착하는가?

주요 결과

• 제안된 CNN-LSTM 및 SVM 기반 융합 모델은 AFEW 6.0 데이터셋에서 뛰어난 성능을 달성한다.
• SVM 융합을 통한 시각적 및 청각적 모달의 통합은 단모달 접근 방식보다 인식 정확도를 향상시킨다.
• CNN-LSTM 아키텍처는 비디오 시퀀스에서 얼굴 표정의 시간적 동적 특징을 효과적으로 포착한다.
• 딥러닝 특징과 함께 사용될 경우, 기존 방법(예: SVM)은 여전히 다중모달 융합에 효과적이다.