[논문 리뷰] Domain adversarial learning for emotion recognition

Zheng Lian, Jianhua Tao외 2명|arXiv (Cornell University)|2019. 10. 24.

Emotion and Mood Recognition참고 문헌 16인용 수 6

한 줄 요약

이 논문은 청자 독립적 정서 인식을 위한 도메인 적대 신경망(DANN) 기반 프레임워크를 제안하며, 경사 반전을 사용하여 화자 신원 정보를 최소화함으로써 정서에 불변인 표현을 학습한다. 이 방법은 IEMOCAP 데이터셋에서 최신 기술 대비 3.48%p의 절대적 성능 향상을 달성하여, 라벨이 없는 데이터를 이용한 준지도 학습을 통해 예측할 수 없는 화자에 대한 일반화 능력이 뛰어나다.

ABSTRACT

In practical applications for emotion recognition, users do not always exist in the training corpus. The mismatch between training speakers and testing speakers affects the performance of the trained model. To deal with this problem, we need our model to focus on emotion-related information, while ignoring the difference between speaker identities. In this paper, we look into the use of the domain adversarial neural network (DANN) to extract a common representation between different speakers. The primary task is to predict emotion labels. The secondary task is to learn a common representation where speaker identities can not be distinguished. By using the gradient reversal layer, the gradients coming from the secondary task are used to bring the representations for different speakers closer. To verify the effectiveness of the proposed method, we conduct experiments on the IEMOCAP database. Experimental results demonstrate that the proposed framework shows an absolute improvement of 3.48% over state-of-the-art strategies.

연구 동기 및 목표

• 학습 및 테스트 시 화자 간 불일치로 인한 정서 인식 성능 저하 문제를 해결하기 위해.
• 화자에 독립적인 표현을 학습하여 정서 관련 특징에 집중하고 화자 특유의 특징을 제거하기 위해.
• 제한된 라벨이 있는 데이터에서 일반화 능력을 향상시키기 위해 라벨이 없는 데이터를 준지도 학습 방식으로 활용하기 위해.
• 저자원 데이터셋에서 화자 간 정서 인식 성능을 기존 최신 기술보다 뛰어나게 향상시키기 위해.
• 다중모odal 정서 인식에서 도메인 적대 학습의 효과성을 검증하기 위해.

제안 방법

• 모달리티 가중 표현을 생성하기 위해 청각 및 텍스트 특징을 주의 메커니즘(AT-Fusion)을 통해 융합하는 다중모달 프레임워크를 사용한다.
• 대화 시퀀스의 장거리 문맥적 종속성을 포착하기 위해 자기주의 게이트드 리커런트 유닛(SA-GRU)을 사용한다.
• 화자 신원을 예측하기 위해 도메인 분류기를 적대적으로 훈련하기 위해 경사 반전 레이어를 도입하여, 특징 인코더가 도메인 불변 표현을 학습하도록 유도한다.
• 모델을 라벨이 있는 정서 데이터(주요 과제)와 라벨이 없는 데이터(보조 과제)에 동시에 훈련시켜 강인성과 일반화 능력을 향상시킨다.
• 소스(학습) 및 타겟(테스트) 화자 도메인 간 분포 이탈을 최소화하기 위해 도메인 적대 학습을 적용한다.
• 두 개의 스트림 아키텍처를 사용한다: 하나는 정서 분류를 위해, 다른 하나는 화자 도메인 분류를 위해이며, 역전파 동안 기울기가 반전되어 도메인 간 표현이 일치하도록 한다.

실험 결과

연구 질문

• RQ1 도메인 적대 학습이 정서 인식 모델에서 화자 신원 편향을 효과적으로 줄일 수 있는가?
• RQ2 제안된 방법이 화자 의존 또는 표준 지도 학습 기반 베이스라인에 비해 예측할 수 없는 화자에 대해 성능을 향상시키는가?
• RQ3 라벨이 없는 데이터가 저자원 정서 인식 환경에서 모델 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 정확도와 강인성 측면에서 제안된 DANN 기반 프레임워크는 최신 기술 대비 어떻게 비교되는가?
• RQ5 모델은 화자 특유의 정보를 억제하면서도 정서 구분 특징을 유지할 수 있는가?

주요 결과

• 제안된 방법은 IEMOCAP 데이터셋에서 가중 정확도(WA) 82.68%를 달성하여 이전 최신 기술 대비 3.48%p의 절대적 향상을 보였다.
• 모든 다섯 가지 학습 설정에서 베이스라인 C1을 초월했으며, 특히 학습 데이터가 감소할 경우 가장 큰 격차를 보였고, 이는 저자원 조건에서 더 나은 일반화 능력을 의미한다.
• 학습 데이터를 줄일수록 성능 향상이 관찰되어, 모델이 과적합과 데이터 부족 문제를 완화하기 위해 라벨이 없는 데이터를 효과적으로 활용하고 있음을 시사한다.
• 라벨이 있는 데이터가 제한된 조건에서도 높은 성능 유지를 보이며, 정서 인식에 있어 준지도 학습 기반 도메인 적대 학습의 효과성을 입증한다.
• 경사 반전 메커니즘이 학습된 표현에서 화자 신원 정보를 성공적으로 감소시켜, 예측할 수 없는 화자에 대한 일반화 능력을 향상시켰다.
• 컨텍스트 기반 및 컨텍스트 없는 모델에 비해 프레임워크는 일관되게 뛰어난 성능을 보이며, 다중모달 정서 인식에서 적대적 도메인 정렬의 유용성을 입증한다.