[논문 리뷰] Exploring speaker enrolment for few-shot personalisation in emotional vocalisation prediction

Andreas Triantafyllopoulos, Meishu Song외 3명|arXiv (Cornell University)|2022. 06. 14.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 대상 화자로부터의 두 개의 레이블이 없는 발화를 사용하여 도트곱 어텐션을 통한 감정 인코더의 적응을 가능하게 하는 새로운 '등록(registration)' 인코더를 사용하여 감정적 발화 예측을 위한 소수의 샘플(personalization) 프레임워크를 제안한다. 이 방법은 ExVo Few-Shot 개발 세트에서 CCC가 0.650에 도달하며 기준 모델인 CNN14 모델 대비 2.5% 상대적 향상을 이룩한다. 특히, 이 성능 향상의 대부분은 등록 인코더에서 기인한다.

ABSTRACT

In this work, we explore a novel few-shot personalisation architecture for emotional vocalisation prediction. The core contribution is an `enrolment' encoder which utilises two unlabelled samples of the target speaker to adjust the output of the emotion encoder; the adjustment is based on dot-product attention, thus effectively functioning as a form of `soft' feature selection. The emotion and enrolment encoders are based on two standard audio architectures: CNN14 and CNN10. The two encoders are further guided to forget or learn auxiliary emotion and/or speaker information. Our best approach achieves a CCC of $.650$ on the ExVo Few-Shot dev set, a $2.5\%$ increase over our baseline CNN14 CCC of $.634$.

연구 동기 및 목표

• 최소한의 화자 특화 데이터를 사용하여 감정적 발화 예측에서 소수의 샘플(personalization) 성능을 향상시키는 것.
• 대상 화자로부터의 두 개의 레이블이 없는 발화가 감정 인식 모델을 어떻게 적응시킬 수 있는지 탐구하는 것.
• 보조 손실이 화자 특화 표현을 학습하는 데 도움을 주는 등록 인코더와 감정 불변 표현을 학습하는 데 기여하는 감정 인코더를 어떻게 이끌 수 있는지 탐색하는 것.
• 등록 인코더를 통한 어텐션 기반 조건화가 표준의 대비성 화자 불변 기반 기준 모델보다 성능이 뛰어나지 않는지 평가하는 것.

제안 방법

• 모델은 감정 인코더(CNN14)와 등록 인코더(CNN10)로 구성된 이중 브랜치 아키텍처를 사용하며, 후자가 도트곱 어텐션을 통해 전자를 조절한다.
• 등록 인코더는 두 개의 레이블이 없는 대상 화자 발화를 처리하여 감정 인코더의 출력을 소프트 어텐션을 통해 조절하는 컨텍스트 벡터를 생성한다.
• 두 인코더 각각에 보조 대비성 헤드를 적용한다: 감정 인코더에는 화자 정체성을 억제하고, 등록 인코더에는 화자 표현을 강화한다.
• 도메인 불변 학습을 점진적으로 도입하기 위해 기울기 반전 레이어와 온도 조절 스케줄을 사용한다.
• 최종 예측은 공유된 감정 분류기가, 조건화된 화자 적응 임베딩을 입력으로 받아 수행한다.
• 모델 학습은 감정 회귀 손실과 보조 대비성 손실의 조합을 사용하며, 기울기 반전의 초깃값 조정을 위한 하이퍼파라미터 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 대상 화자로부터의 두 개의 레이블이 없는 발화가 소수의 샘플 설정에서 감정 인식 모델을 효과적으로 개인화하는 데 사용될 수 있는가?
• RQ2 등록 인코더를 통한 어텐션 기반 조건화가 표준의 대비성 화자 불변 기법보다 소수의 샘플 개인화에서 성능이 뛰어나게 되는가?
• RQ3 보조 대비성 헤드가 개인화 메커니즘의 일반화 및 강건성 향상에 기여하는 정도는 어떠한가?
• RQ4 다양한 보조 손실 조합이 ExVo Few-Shot 벤치마크 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 등록 기반 개인화 방법은 ExVo Few-Shot 개발 세트에서 CCC가 0.650을 기록하며, 기준 모델인 CNN14 모델(0.634) 대비 2.5% 상대적 향상을 달성한다.
• 등록 인코더만 존재하고 보조 헤드가 추가되지 않은 아키텍처에서 가장 높은 성능가를 기록하며, 이는 핵심 메커니즘이 주요 성능 향상 기여를 한다는 것을 시사한다.
• 감정 인코더 브랜치에 대비성 화자 분류기를 추가하면 성능이 크게 악화되며, 이는 이 맥락에서 화자 불변성이 유익하지 않을 수 있음을 시사한다.
• 등록 인코더에 대비성 감정 분류기만 추가한 경우(CCC: 0.647) 기준 모델 대비 약간의 향상이 나타나지만, 성능 향상 폭은 미미하다.
• 등록 인코더에 두 가지 대비성 헤드를 모두 추가한 경우 테스트 세트에서 CCC가 0.642로 측정되며, 이는 보조 가이드라인이 등록 메커니즘 자체의 성능 향상 이외에는 제한적인 기여를 한다는 것을 의미한다.
• 절단 분석 결과 등록 인코더가 성능 향상의 주요 원동력임을 확인하였으며, 보조 구성 요소는 추가적인 개선 효과가 미미함을 확인하였다.