[논문 리뷰] Towards Better Uncertainty: Iterative Training of Efficient Networks for Multitask Emotion Recognition.

Didan Deng, Liang Wu외 1명|arXiv (Cornell University)|2021. 07. 21.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 다중 작업 정서 인식에서의 불확실성 추정을 향상시키기 위해 반복적 다세대 자기 정규화 프레임워크를 제안한다. 깊은 앙상블을 활용해 내부 불확실성이 내장된 소프트 레이블을 생성함으로써, 학생 모델이 도메인 내 불확실성을 추정하고 도메인 외 샘플을 탐지하도록 훈련한다. 이는 온도 스케일링과 몬테카를로 드롭아웃보다 신뢰도가 높다.

ABSTRACT

When recognizing emotions, subtle nuances of emotion displays often cause ambiguity or uncertainty in emotion perception. Unfortunately, the ambiguity or uncertainty cannot be reflected in hard emotion labels. Emotion predictions with uncertainty can be useful for risk controlling, but they are relatively scarce in current deep models for emotion recognition. To address this issue, we propose to apply the multi-generational self-distillation algorithm to emotion recognition task towards better uncertainty estimation performance. We firstly use deep ensembles to capture uncertainty, as an approximation to Bayesian methods. Secondly, the deep ensemble provides soft labels to its student models, while the student models can learn from the uncertainty embedded in those soft labels. Thirdly, we iteratively train deep ensembles to further improve the performance of emotion recognition and uncertainty estimation. In the end, our algorithm results in a single student model that can estimate in-domain uncertainty and a student ensemble that can detect out-of-domain samples. We trained our Efficient Multitask Emotion Networks (EMENet) on the Aff-wild2 dataset, and conducted extensive experiments on emotion recognition and uncertainty estimation. Our algorithm gives more reliable uncertainty estimates than Temperature Scaling and Monte Carol Dropout.

연구 동기 및 목표

• 정서 인식을 위한 딥 러닝 모델에서 하드 레이블이 미묘한 정서적 모호성을 포착하지 못하는 불확실성 추정의 부족을 해결하기 위해.
• 실세계 응용에서 리스크 제어를 향상시키기 위해 정서 인식 시스템의 불확실성 추정의 신뢰도를 향상시키기 위해.
• 도메인 내 불확실성을 추정할 수 있고 도메인 외 샘플을 탐지할 수 있는 단일 학생 모델을 개발하기 위해.

제안 방법

• 정서 인식 예측의 불확실성을 포착하기 위해 깊은 앙상블을 베이지안 근사로 활용한다.
• 깊은 앙상블에서 유도된 소프트 레이블을 학생 모델의 지식 정규화 타겟으로 사용한다.
• 불확실성 인식 소프트 레이블을 사용해 학생 모델을 훈련시켜 강건한 불확실성 추정 능력을 습득하도록 한다.
• 불확실성 추정을 개선하고 학생 모델 성능을 향상시키기 위해 깊은 앙상블을 반복적으로 재훈련한다.
• 다세대 자기 정규화를 적용하여 각 세대의 학생 모델이 다음 세대의 불확실성 추정을 향상시킨다.
• 최종적으로 단일 최적화된 학생 모델과 도메인 외 데이터의 분포 이탈을 탐지하기 위한 학생 앙상블을 확보한다.

실험 결과

연구 질문

• RQ1 깊은 앙상블은 정서 인식 작업에서 베이지안 불확실성을 효과적으로 근사할 수 있는가?
• RQ2 앙상블 예측에서 유도된 불확실성은 어떻게 학생 모델로 전달되어 불확실성 추정을 향상시킬 수 있는가?
• RQ3 반복적 자기 정규화가 정서 인식 정확도와 불확실성 추정의 신뢰도를 모두 향상시킬 수 있는가?
• RQ4 제안된 방법은 온도 스케일링과 몬테카를로 드롭아웃과 같은 확립된 불확실성 校정 기법을 초월하는가?
• RQ5 최종 학생 모델은 도메인 내 불확실성을 신뢰성 있게 추정할 수 있고, 앙상블은 도메인 외 샘플을 탐지할 수 있는가?

주요 결과

• 제안된 방법은 도메인 내 및 도메인 외 탐지 작업 모두에서 온도 스케일링과 몬테카를로 드롭아웃보다 더 높은 신뢰도의 불확실성 추정을 제공한다.
• 반복적 훈련 과정은 다수의 학생 모델 세대에 걸쳐 불확실성 추정 성능을 향상시킨다.
• 최종 단일 학생 모델은 불확실성 캘리브레이션 지표로 측정했을 때 도메인 내 데이터에서 강력한 불확실성 추정 능력을 확보한다.
• 학생 앙상블은 도메인 외 샘플을 효과적으로 탐지하여 훈련 분포를 초월한 일반화 능력 향상을 보여준다.
• 이 방법은 정서 인식 정확도를 유지하면서도 불확실성 정량화 능력을 크게 향상시킨다.