[논문 리뷰] ContentVec: An Improved Self-Supervised Speech Representation by Disentangling Speakers

Kaizhi Qian, Shuicheng Yan외 6명|arXiv (Cornell University)|2022. 04. 20.

Speech Recognition and Synthesis인용 수 24

한 줄 요약

ContentVec는 HuBERT에 세 가지 화자 분리 메커니즘(teacher, student, 및 화자 조건화)을 추가하여 콘텐츠를 보존하고 화자 변형을 제거함으로써 콘텐츠 관련 다운스트림 작업을 향상시킨다.

ABSTRACT

Self-supervised learning in speech involves training a speech representation network on a large-scale unannotated speech corpus, and then applying the learned representations to downstream tasks. Since the majority of the downstream tasks of SSL learning in speech largely focus on the content information in speech, the most desirable speech representations should be able to disentangle unwanted variations, such as speaker variations, from the content. However, disentangling speakers is very challenging, because removing the speaker information could easily result in a loss of content as well, and the damage of the latter usually far outweighs the benefit of the former. In this paper, we propose a new SSL method that can achieve speaker disentanglement without severe loss of content. Our approach is adapted from the HuBERT framework, and incorporates disentangling mechanisms to regularize both the teacher labels and the learned representations. We evaluate the benefit of speaker disentanglement on a set of content-related downstream tasks, and observe a consistent and notable performance advantage of our speaker-disentangled representations.

연구 동기 및 목표

• 자체지도 학습 표현에서 콘텐츠 손실 없이 화자 변이들을 분리할 필요성을 동기부여한다.
• ContentVec 프레임워크를 제안하여 교사-학생 HuBERT 스타일 학습과 세 가지 분리 모듈을 결합한다.
• 화자 분리 표현이 0-shot 프로브와 감독 벤치마크 전반에 걸쳐 콘텐츠 관련 작업에서 이점을 제공함을 보여준다.

제안 방법

• HuBERT의 마스크 예측 프레임워크를 세 가지 분리 모듈을 포함하도록 적응합니다: (1) 화자 정보를 화자 변환을 통해 교사 레이블에서 제거하는 교사 단계의 분리; (2) 화자 변환을 활용한 대조 학습 objective(SimCLR 스타일)로 학생 단계의 분리; (3) 예측기에 화자 임베딩을 주입하여 표현이 화자 정보를 담을 필요를 덜게 하는 화자 조건화.
• 중간 계층에 대조 손실을 가중시켜 화자 정보 흐름을 적극적으로 감소시키고 입력의 두 화자 보강 뷰에 대해 대칭 손실을 적용합니다.
• 예측기가 화자 임베딩에 접근할 수 있도록 화자 조건화를 사용하여 학생은 콘텐츠에 집중하고 교사 레이블은 화자 저하된 상태를 유지합니다.
• joint loss로 학습합니다 L = L_pred + lambda * L_contr, 여기서 L_pred는 화자 임베딩에 조건화된 마스킹 예측 손실이고, L_contr은 SimCLR 스타일 교차 뷰 대조 손실입니다.

실험 결과

연구 질문

• RQ1 자체지도 학습(SSL) 학습 중에 화자 변이들을 분리하는 것이 콘텐츠 손실을 크게 초래하지 않는가?
• RQ2 화자 분리된 SSL 특징이 다운스트림 콘텐츠 관련 작업에 어떤 영향을 미치는가?
• RQ3 세 가지 분리 메커니즘(교사, 학생, 화자 조건화)이 성능에 어떻게 기여하는가?
• RQ4 SSL 특징에서 추출된 이산 표현을 사용할 때 언어 모델링 품질이 향상되는가?

주요 결과

Model	ABX(w) ↓	ABX(a) ↓	Lexical ↓	Syntactic ↓	PPX ↓	VERT ↓	AUC ↓
ContentVec	5.13	6.32	33.27	43.95	650.04	46.05	45.01
HuBERT-iter	6.01	7.20	34.00	44.36	739.12	47.55	53.28
HuBERT	6.06	7.37	36.19	46.48	790.17	54.35	75.23
Wav2Vec 2.0	8.70	10.34	35.93	46.40	840.34	58.59	88.83

• ContentVec는 HuBERT 및 Wav2Vec 2.0 같은 기준선에 비해 콘텐츠 관련 다운스트림 작업에서 일관된 향상을 보여준다.
• 제로샷 콘텐츠 프로브에서 ContentVec는 ABX(w), ABX(a), Lexical, Syntactic 지표 전반에서 최상의 결과를 달성하며 음성 수준 작업에서 가장 큰 이득을 보였다.
• SUPERB 콘텐츠/의미론적 작업에서 표현이 다운스트림 작업에 대해 동결되었을 때 ContentVec가 HuBERT 및 HuBERT-iter를 능가한다.
• ContentVec는 화자 식별 및 억양 분류 정확도를 감소시켜 화자 분리 및 부분적 억양 분리가 효과적임을 나타낸다.
• 음성 변환에서 ContentVec 기반 표현은 대상 화자 유사도에서 베이스라인보다 높다.
• 절단 연구에서 세 가지 분리 모듈(교사, 학생, 조건화)이 최적 성능에 필요함을 확인한다.