[논문 리뷰] A Deep Network for Arousal-Valence Emotion Prediction with Acoustic-Visual Cues

Songyou Peng, Le Zhang외 3명|arXiv (Cornell University)|2018. 05. 02.

Speech and Audio Processing참고 문헌 9인용 수 23

한 줄 요약

이 논문은 OMG-Emotion 데이터셋의 오디오 및 시각적 자극을 활용하여 각성-가치 감정 예측을 위한 딥러닝 프레임워크를 제안한다. VGG-16 기반 오디오 네트워크(ANet)와 SphereFace 기반 비디오 네트워크(VNet)를 사용하며, 희소 프레임 샘플링과 양방향 LSTM을 적용하여 공유 학습을 통해 최신 기술 수준의 성능을 달성하였으며, 공명 상관계수(CCC) 점수는 각각 각성 0.3036, 가치 0.4796을 기록하였다.

ABSTRACT

In this paper, we comprehensively describe the methodology of our submissions to the One-Minute Gradual-Emotion Behavior Challenge 2018.

연구 동기 및 목표

• 원시 오디오 및 시각 입력에서 연속적인 각성과 가치 감정 차원을 효과적으로 예측할 수 있는 딥러닝 모델을 개발하는 것.
• 변동 길이의 비디오 스니펫 문제를 해결하기 위해 시간적 동역학을 유지하는 희소 프레임 샘플링 전략을 설계하는 것.
• 다중 모odal 융합 접근법을 사용하여 오디오 및 비디오 스트림을 공동으로 학습시켜 감정 예측 성능을 향상시키는 것.
• 외부의 대규모 감정 데이터셋에서의 사전 훈련 없이도 사전 처리된 스펙트로그램과 깊이 있는 얼굴 임베딩을 사용하는 것이 효과적인지 입증하는 것.

제안 방법

• 원시 오디오를 16kHz 단일 채널 WAV 파일로 변환하고, 25ms 히즈윈도우와 10ms 스텝을 사용하여 257×300×2 STFT 매핑을 계산하며, 실수부 및 허수부 성분을 모두 유지한다.
• MTCNN를 사용하여 비디오 프레임에서 얼굴를 추출하고 정렬한 후, 112×96×3로 크기 조정하여 SphereFace 기반 백본에 입력한다.
• ANet로 수정된 VGG-16를 사용하며, 첫 번째 레이어를 2채널 STFT 입력에 맞게 수정하고, 드롭아웃이 적용된 두 개의 완전 연결 레이어를 이어붙인다.
• 비디오 모델링을 위해 스니펫 전역에 걸쳐 16개의 프레임을 세그먼트 기반 무작위 샘플링 방식으로 희소하게 추출하고, SphereFace를 통해 512D 특징을 추출한 후, 양방향 LSTM을 통해 처리한다.
• ANet의 2단계 전에 출력된 특징을 4개의 샘플된 STFT 매핑에 대해 평균화한 후, 오디오 및 비디오 특징을 연결하여 융합하고, 최종적으로 탄젠트 활성화 함수를 사용하는 완전 연결 레이어를 적용한다.
• CCC 손실을 사용하여 공동 모델을 훈련하고, 초기 학습률을 0.001로 감소시키며, 기울기 노름(norm)이 20를 초과할 경우 기울기 클리핑을 적용한다.

실험 결과

연구 질문

• RQ1 외부 사전 훈련 없이도 원시 오디오 및 비디오 입력에서 연속적인 각성과 가치를 효과적으로 예측할 수 있는 딥 네트워크가 존재하는가?
• RQ2 오디오 및 비디오 스트림을 공동으로 학습시키는 것이 단일 스트림 모델 대비 성능 향상에 기여하는가?
• RQ3 희소 프레임 샘플링과 양방향 LSTM이 변동 길이의 비디오 스니펫에서 시간적 동역학을 모델링하는 데 미치는 영향은 무엇인가?
• RQ4 STFT 기반 오디오 표현 방식이 각성-가치 회귀에서 수작업 특징(예: OpenSmile)과 비교해 어떻게 성능을 내는가?
• RQ5 다중 모달 융합이 단모달 기반 모델 대비 감정 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 ANet는 RAVDESS에서 사전 훈련된 기준 모델(각성: 0.18 대비 0.08, 가치: 0.256 대비 0.10)과 OpenSmile 기반 기준 모델(총합 CCC: 0.36 대비 0.18)을 모두 능가하는 성능을 보였다.
• VNet만으로도 총 CCC 0.7486을 기록하였으며, 이는 기준 모델의 0.35를 초월하여 비디오 전용 감정 회귀에서 뛰어난 성능을 보여주었다.
• 오디오 및 비디오 스트림의 공동 학습은 총 CCC 0.7832를 달성하였으며, 이는 비디오 전용 모델(0.7486)과 오디오 전용 모델(0.4439)보다 뚜렷한 향상이다.
• 공동 모델은 각성에 대해 0.3036의 CCC, 가치에 대해 0.4796의 CCC를 기록하였으며, 이는 양방향 모델 및 이전 기준 모델을 모두 초월하는 성능을 보였다.
• 이 모델은 대규모 감정 데이터셋에서의 사전 훈련 없이도 ImageNet에서의 전이 학습과 자기주도적 얼굴 특징에 의존하여 이러한 성능을 달성하였다.
• 공동 학습 중에 CCC 손실을 사용함으로써 인간 애너테이션 감정 점수와의 일치도가 단일 모달 학습에서 사용된 MSE 손실보다 향상되었다.