[논문 리뷰] A Siamese Neural Network with Modified Distance Loss For Transfer Learning in Speech Emotion Recognition

Kexin Feng, Theodora Chaspari|arXiv (Cornell University)|2020. 06. 04.

Emotion and Mood Recognition참고 문헌 12인용 수 6

한 줄 요약

이 논문은 소수의 샘플만 있는 환경에서 음성 감정 인식의 희소적 전이 학습을 향상시키기 위해 수정된 거리 손실을 적용한 시아모이즈 신경망을 제안한다. 미세조정 중에 동일 클래스 쌍과 다른 클래스 쌍 간의 상대적 거리를 최적화함으로써, 표준 미세조정 대비 무게 없는 평균 재현율(UAR)에서 최대 7% 향상된 성능을 달성하였으며, 고정된 레이어의 초모수 튜닝보다는 소스 데이터 선택이 더 큰 영향을 미쳤다.

ABSTRACT

Automatic emotion recognition plays a significant role in the process of human computer interaction and the design of Internet of Things (IOT) technologies. Yet, a common problem in emotion recognition systems lies in the scarcity of reliable labels. By modeling pairwise differences between samples of interest, a Siamese network can help to mitigate this challenge since it requires fewer samples than traditional deep learning methods. In this paper, we propose a distance loss, which can be applied on the Siamese network fine-tuning, by optimizing the model based on the relevant distance between same and difference class pairs. Our system use samples from the source data to pre-train the weights of proposed Siamese neural network, which are fine-tuned based on the target data. We present an emotion recognition task that uses speech, since it is one of the most ubiquitous and frequently used bio-behavioral signals. Our target data comes from the RAVDESS dataset, while the CREMA-D and eNTERFACE'05 are used as source data, respectively. Our results indicate that the proposed distance loss is able to greatly benefit the fine-tuning process of Siamese network. Also, the selection of source data has more effect on the Siamese network performance compared to the number of frozen layers. These suggest the great potential of applying the Siamese network and modelling pairwise differences in the field of transfer learning for automatic emotion recognition.

연구 동기 및 목표

• 라벨이 부족한 음성 감정 인식 문제를 전이 학습을 통해 해결한다.
• 소수의 타겟 샘플만 존재할 경우 지식 전이의 효율성을 향상시킨다.
• 쌍별 유사도 학습을 활용한 시아모이즈 네트워크의 소수 샘플 감정 인식에서의 효과성을 탐색한다.
• 소스 데이터셋 선택과 아키텍처 초모수(예: 고정 레이어 수)가 미세조정 성능에 미치는 영향을 조사한다.
• 상대적 내부 클래스 및 외부 클래스 간 거리 모델링을 통해 특징 구분력을 향상시키는 새로운 거리 손실을 개발한다.

제안 방법

• 소스 데이터셋(CREMA-D 및 eNTERFACE’05)에서 사전 학습된 시아모이즈 신경망을 타겟 RAVDESS 데이터셋에서 미세조정한다.
• 제안된 수정된 거리 손실은 미세조정 중에 동일 클래스 및 다른 클래스 쌍의 특징 임bedding 간 상대적 거리를 최적화한다.
• 손실 함수는 결정 부담을 유지하면서 임bedding 품질을 향상시키기 위해 특징 추출 레이어에만 적용된다.
• 음성 특징은 openSMILE를 사용해 추출되며, MFCC, 에너지, 제로 크로싱 레이트 및 그 일阶 도함수를 포함한 64차원 특징 벡터를 생성한다.
• 일반화성과 데이터 효율성을 평가하기 위해 고정 레이어 수와 타겟 스트리머 수(3~5명)를 다양하게 설정하여 미세조정을 수행한다.
• 성능 평가에는 여러 소스-타겟 조합에서 RAVDESS 데이터셋의 무게 없는 평균 재현율(UAR)을 사용한다.

실험 결과

연구 질문

• RQ1 수정된 거리 손실이 소수 샘플 전이 학습을 위한 음성 감정 인식에서 시아모이즈 네트워크의 성능을 향상시킬 수 있는가?
• RQ2 소스 데이터 선택이 이방향 감정 인식에서 시아모이즈 네트워크의 미세조정 성능에 어떤 영향을 미치는가?
• RQ3 미세조정 중 고정 레이어 수가 소스 데이터셋 선택보다 성능에 더 큰 영향을 미치는가?
• RQ4 쌍별 유사도 학습을 통한 시아모이즈 네트워크는 최소한의 타겟 레이블 데이터로 도메인 이동 문제를 어느 정도 완화할 수 있는가?
• RQ5 제안된 손실 함수는 계산 비용을 증가시키지 않고 지식 전이 효율성을 향상시킬 수 있는가?

주요 결과

• 제안된 수정된 거리 손실은 표준 미세조정 대비 무게 없는 평균 재현율(UAR)을 최대 7% 향상시켰으며, CREMA-D를 소스 데이터셋으로 사용할 경우 43.4% UAR를 달성했다.
• 수정된 손실을 적용한 미세조정은 베이스라인 미세조정과 이방향 학습보다 우수한 성능을 보였으며, 각각 32.8%와 29.3% UAR를 기록했다.
• 소스 데이터 선택이 고정 레이어 수보다 더 큰 영향을 미쳤으며, CREMA-D가 eNTERFACE’05보다 더 좋은 성능을 냈다.
• 3~5명의 타겟 스트리머를 미세조정에 포함시켰을 때 가장 뛰어난 성능-데이터 비율을 보였으며, 자원 부족과 분포 커버리지 사이의 최적 균형을 보여주었다.
• 내부 도메인 학습(50.0% UAR)을 넘지 못했지만, 수정된 손실을 적용한 시아모이즈 네트워크는 강력한 잠재력을 보였으며, 향후 개선 여지가 있음을 시사했다.
• 상대적 쌍별 거리 모델링이 자원이 제한된 환경에서 특징 구분력과 지식 전이를 향상시킨다는 점을 입증했다.