[논문 리뷰] audEERING's approach to the One-Minute-Gradual Emotion Challenge

Andreas Triantafyllopoulos, Hesam Sagha외 2명|arXiv (Cornell University)|2018. 05. 03.

Emotion and Mood Recognition참고 문헌 5인용 수 6

한 줄 요약

이 논문은 연속적인 각성과 공감도를 예측하기 위해 음성 및 영상 모odal을 활용한 audEERING의 접근 방식을 제시한다. CDF-조정된 음성 특징과 VGGFace로 임bedded된 영상 특징을 사용한 이중 스트림 BLSTM 네트워크를 통해, 각성에 대해 0.343 CCC(음성), 공감도에 대해 0.401 CCC(영상)를 달성하였으며, 앙상블 평균화와 도메인 적응을 통한 융합이 화자 편향을 완화하면서 성능 향상을 이끌어냈다.

ABSTRACT

This paper describes audEERING's submissions as well as additional evaluations for the One-Minute-Gradual (OMG) emotion recognition challenge. We provide the results for audio and video processing on subject (in)dependent evaluations. On the provided Development set, we achieved 0.343 Concordance Correlation Coefficient (CCC) for arousal (from audio) and .401 for valence (from video).

연구 동기 및 목표

• 1분 분량의 YouTube 영상 세그먼트에서 점진적인 각성과 공감도 애너테이션을 가진 연속적인 정서 인식에 도전하는 것.
• 학습, 개발, 테스트 세트 간의 데이터 泄漏와 화자 겹침을 완화하여 OMG 데이터셋에서의 성능을 향상시키는 것.
• 각성에 대해 음성 단일 모델링, 공감도에 대해 영상 단일 모델링을 수행하고 융합을 통해 공감도 예측 성능을 향상시키는 것.
• 교차검증, 특징 정규화, 도메인 적응 기법을 통해 과적합을 줄이고 일반화 능력을 향상시키는 것.
• 화자 종속적 대비 화자 독립적 데이터 분할이 모델 성능에 미치는 영향을 평가하는 것.

제안 방법

• 음성 특징은 openSMILE를 사용해 추출되었으며, 2초 윈도우, 1초 스텝 간격으로 1170개의 LLD와 기능 통계치를 포함하였고, 이상치 민감도 감소 및 분포 정규화를 위해 CDF 조정을 수행하였다.
• 음성 특징을 기반으로 100 및 40개 유닛을 가진 이중 레이어 BLSTM 네트워크를 훈련하였으며, 음성 특징에 대해 음성의 음성 각성 예측을 최적화하는 손실 함수를 사용하고, 검증 세트에서의 성능 기반 조기 정지 기법을 적용하였다.
• 영상 처리를 위해 MTCCN을 사용하여 얼굴 검출 및 정렬을 수행한 후, VGGFace CNN 모델을 통해 깊이 있는 특징 추출을 수행하였다.
• 영상 시퀀스는 시간적 동적 특성을 모델링하기 위해 이중 레이어 BLSTM 네트워크(16 및 8개 유닛)로 처리하였으며, tanh 활성화 함수를 사용하고 평균-분산 정규화를 적용하였다.
• 화자 편향 문제를 완화하기 위해, 공감도 예측과 함께 화자 오분류를 보조 작업으로 통합한 공동 훈련 목표 함수를 도입하였다. 이는 화자에 종속되지 않는 표현을 촉진한다.
• 최종 예측은 다수의 교차검증 폴드에서의 출력을 평균화하여 확보하였으며, 훈련 데이터를 통합하고 다시 7개 폴드로 재분할하여 테스트 세트 추론을 수행하였다.

실험 결과

연구 질문

• RQ1 CDF 조정된 음성 특징이 평균-분산 정규화보다 OMG 데이터셋에서 정서 인식 성능 향상에 얼마나 효과적인가?
• RQ2 학습, 개발, 테스트 세트 간의 화자 겹침이 모델 일반화 능력을 얼마나 악화시키며, 이를 어떻게 완화할 수 있는가?
• RQ3 음성(각성)과 영상(공감도) 특징을 융합한 이중 스트림 접근 방식이 단일 모odal 모델 대비 성능 향상에 기여하는가?
• RQ4 화자 분류를 보조 작업으로 삼는 다중 작업 학습이 영상 기반 공감도 예측에서 화자 특이적 편향에 대한 모델의 강건성 향상에 기여하는가?
• RQ5 교차검증 폴드 간 앙상블 평균화가 예측 안정성 및 CCC 점수 향상에 얼마나 효과적인가?

주요 결과

• 각성에 대해 음성 단일 모델에서 가장 우수한 성능을 기록하여, CDF-조정된 특징과 무작위 셔플링을 사용한 공식 개발 세트에서 Concordance Correlation Coefficient (CCC)가 0.343을 기록하였다.
• 공감도에 대해 영상 단일 모델에서 가장 뛰어난 성능을 기록하여, CDF-조정된 특징과 무작위 셔플링을 사용한 개발 세트에서 CCC가 0.401을 기록하였으며, 화자 독립적 폴드보다 뛰어난 성능을 보였다.
• 화자 독립적 교차검증에서는 공감도 CCC가 0.232로 떨어져, 데이터 泄漏와 화자 편향으로 인한 심각한 성능 저하가 확인되었다.
• 화자 오분류를 보조 작업으로 통합한 공동 훈련을 통해, 화자 독립적 조건에서 공감도 CCC가 0.360에서 0.390으로 향상되었으며, 무작위 셔플링 성능에 가까워졌다.
• 음성 및 영상 예측을 융합한 공감도 예측에서 CCC가 0.388로 향상되어 다중 모odal 통합의 유용성을 입증하였다.
• CDF 조정이 평균-분산 정규화보다 우수했으며, 특히 특징 분포의 이상치 민감도 감소 측면에서 뛰어난 성능을 보였다.