[논문 리뷰] End-to-end Multimodal Emotion and Gender Recognition with Dynamic Weights of Joint Loss

Myungsu Chae, Taeho Kim외 3명|arXiv (Cornell University)|2018. 09. 04.

Emotion and Mood Recognition인용 수 3

한 줄 요약

이 논문은 음성 및 영상 데이터를 사용한 엔드 투 엔드 다중모odal 정서 및 성별 인식에서 공동 손실의 동적 가중 전략을 제안하며, 훈련 중 태스크별 손실의 균형을 적응적으로 조정함으로써 전체 모델 성능을 향상시킨다. 이 방법은 정적 가중 전략에 비해 더 낮은 공동 손실과 더 나은 일반화 성능을 달성한다.

ABSTRACT

Multi-task learning is a method for improving the generalizability of multiple tasks. In order to perform multiple classification tasks with one neural network model, the losses of each task should be combined. Previous studies have mostly focused on multiple prediction tasks using joint loss with static weights for training models, choosing the weights between tasks without making sufficient considerations by setting them uniformly or empirically. In this study, we propose a method to calculate joint loss using dynamic weights to improve the total performance, instead of the individual performance, of tasks. We apply this method to design an end-to-end multimodal emotion and gender recognition model using audio and video data. This approach provides proper weights for the loss of each task when the training process ends. In our experiments, emotion and gender recognition with the proposed method yielded a lower joint loss, which is computed as the negative log-likelihood, than using static weights for joint loss. Moreover, our proposed model has better generalizability than other models. To the best of our knowledge, this research is the first to demonstrate the strength of using dynamic weights for joint loss for maximizing overall performance in emotion and gender recognition tasks.

연구 동기 및 목표

• 정서 및 성별 인식을 위한 다중태스크 학습에서 정적 손실 가중치의 한계를 해결하기 위해.
• 훈련 중 손실 가중치를 동적으로 조정하여 전체 모델 성능을 향상시키기 위해.
• 다중모달(음성 및 영상) 정서 및 성별 인식 작업에서 일반화 능력을 향상시키기 위해.
• 동적 손실 가중치가 공동 학습 환경에서 효과적인가를 입증하기 위해.

제안 방법

• 모델은 음성 및 영상 입력으로부터 정서와 성별을 동시에 예측하는 신경망 아키텍처를 사용한다.
• 훈련 진행 상황에 따라 각 태스크의 손실 기여도를 조정하는 동적 손실 가중 메커니즘을 적용한다.
• 공동 손실은 개별 태스크 손실의 가중 합으로 계산되며, 가중치는 태스크 최적화를 균형 있게 유지하도록 동적으로 업데이트된다.
• 동적 가중치는 총 공동 손실을 최소화하도록 유도되며, 이는 병합된 예측의 음의 로그우도로 정의된다.
• 모델은 다중모달 데이터를 엔드 투 엔드로 훈련하여 특징 학습과 손실 최적화를 통합된 프레임워크 내에서 수행한다.

실험 결과

연구 질문

• RQ1 동적 손실 가중치는 다중모달 정서 및 성별 인식 모델의 전체 성능을 향상시킬 수 있는가?
• RQ2 공동 손실과 일반화 능력 측면에서 동적 가중치는 정적 가중치에 비해 어떻게 비교되는가?
• RQ3 제안된 방법은 정서 및 성별 분류 태스크 전반에서 모델의 강인성과 성능을 향상시키는가?

주요 결과

• 제안된 방법은 정적 손실 가중치를 사용하는 모델에 비해 더 낮은 공동 손실을 달성하였다.
• 기본 모델에 비해 정적 가중치를 사용하는 모델에 비해 더 나은 일반화 능력을 보였다.
• 동적 손실 가중치는 태스크 최적화를 효과적으로 균형 있게 조정하여 개별 태스크 성능보다 총 성능을 향상시켰다.
• 저자들의 지식에 비추어 볼 때, 이는 정서 및 성별 인식에서 공동 최적화를 위한 동적 손실 가중치 적용을 처음으로 시도한 연구이다.