[논문 리뷰] UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training

Sanyuan Chen, Yu Wu외 9명|arXiv (Cornell University)|2021. 10. 12.

Speech Recognition and Synthesis인용 수 9

한 줄 요약

이 논문은 HuBERT 프레임워크에 문장 수준의 대비 손실과 문장 혼합 데이터 증강 전략을 통합하여 화자 인식을 강화한 자기지도 학습 음성 표현 모델인 UniSpeech-SAT을 제안한다. 이 방법은 SUPERB 벤치마크에서 화자 중심 작업, 특히 화자 다이어라이제이션 및 식별에서 최신 기술 수준의 성능을 달성하며, 다이어라이제이션 오류율에서 25%의 상대적 감소를 이끌어내지만, 강력한 ASR 성능을 유지한다.

ABSTRACT

Self-supervised learning (SSL) is a long-standing goal for speech processing, since it utilizes large-scale unlabeled data and avoids extensive human labeling. Recent years witness great successes in applying self-supervised learning in speech recognition, while limited exploration was attempted in applying SSL for modeling speaker characteristics. In this paper, we aim to improve the existing SSL framework for speaker representation learning. Two methods are introduced for enhancing the unsupervised speaker information extraction. First, we apply the multi-task learning to the current SSL framework, where we integrate the utterance-wise contrastive loss with the SSL objective function. Second, for better speaker discrimination, we propose an utterance mixing strategy for data augmentation, where additional overlapped utterances are created unsupervisely and incorporate during training. We integrate the proposed methods into the HuBERT framework. Experiment results on SUPERB benchmark show that the proposed system achieves state-of-the-art performance in universal representation learning, especially for speaker identification oriented tasks. An ablation study is performed verifying the efficacy of each proposed method. Finally, we scale up training dataset to 94 thousand hours public audio data and achieve further performance improvement in all SUPERB tasks.

연구 동기 및 목표

• 자기지도 학습 음성 표현 학습을 향상시키기 위해 사전 학습된 모델에서 화자 신원 식별을 명시적으로 향상시키는 것.
• 기존 SSL 프레임워크가 주로 음성 내용을 최적화하는 데 집중할 뿐 화자 특성에는 초점을 맞추지 않는 한계를 해결하는 것.
• 무단말 화자 레이블이 필요 없이도 비지도 사전 학습이 화자 정보를 더 잘 유지하도록 적응할 수 있는지 조사하는 것.
• 다중 작업 학습과 데이터 증강이 내용 기반 성능을 떨어뜨리지 않으면서도 화자 표현을 향상시키는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 문장 수준의 대비 손실을 사전 학습 목표에 통합하여, 집계된 문장 임베딩과 화자 기반 가짜 레이블을 사용해 화자 식별을 향상시킨다.
• 임의의 문장을 조합하여 부분적으로 겹치는 훈련 샘플을 생성하는 문장 혼합 전략을 제안하여 화자 겹침에 대한 내성 강도를 높인다.
• 제안된 방법을 HuBERT 프레임워크 내에서 적용하여, 마스킹 예측을 주요 SSL 목표로 사용하면서도 화자 인식 지도를 추가한다.
• 기본 HuBERT 모델의 6번째 트랜스포머 레이어에서 클러스터링 기반 가짜 레이블을 사용해 사전 학습의 타겟을 생성한다.
• LibriVox, GigaSpeech, VoxPopuli를 포함한 대규모 비지도 음성 데이터에서 훈련하며, 가장 큰 모델 기준 총 94,000시간의 데이터를 사용한다.
• 내용과 화자 표현을 동시에 최적화하기 위해 대비 손실과 마스킹 예측 손실을 조합한 다중 작업 학습 목표를 적용한다.

Fig. 1 : An illustration of our method. We conduct contrastive loss in the intermediate layer, and use mixed utterance as input.

실험 결과

연구 질문

• RQ1 라벨된 화자 데이터가 필요 없이 자기지도 사전 학습이 화자 신원을 더 잘 포착하도록 향상시킬 수 있는가?
• RQ2 문장 수준의 대비 학습을 추가함으로써 사전 학습된 모델의 화자 표현 품질은 어떻게 향상되는가?
• RQ3 문장 혼합을 데이터 증강 전략으로 사용할 경우, 화자 겹침에 대한 내성 강도와 화자 식별 능력은 어느 정도 향상되는가?
• RQ4 화자 표현 향상이 내용 기반 작업, 예를 들어 자동 음성 인식(ASR) 성능에 악영향을 미치는가?
• RQ5 94,000시간의 사전 학습 데이터로 확장했을 때, 다양한 음성 작업 전반에서 성능은 어떻게 영향을 받는가?

주요 결과

• UniSpeech-SAT 모델은 기준 모델 대비 다이어라이제이션 오류율(DER)을 25% 상대적으로 감소시켰으며, 94,000시간 데이터셋에서 DER이 5.88%에서 3.80%로 감소했다.
• 94,000시간 설정에서 화자 식별 정확도는 97.40%로 향상되었고, DER은 3.80%를 기록하여 HuBERT Base 기준 모델을 크게 앞섰다.
• 감정 인식 정확도는 68.48%를 기록하여 기준 모델 대비 상당한 향상되었으며, 이는 부언적 특성 표현의 향상됨을 시사한다.
• 화자 작업 성능 향상에도 불구하고, 대규모 모델은 언어 모델(LM) 없이 9%의 WER 증가를 보였지만, 기본 모델에서는 이 격차가 2% 미만으로 좁혀졌다.
• 제거 분석 결과, 문장 대비 손실과 문장 혼합 전략 모두 성능 향상에 기여하며, 화자 및 내용 성능를 균형 있게 유지하기 위해 20% 혼합 비율이 최적임을 확인했다.
• 가중치 분석 결과, 얕은 레이어는 화자 작업에 더 기여하는 반면, 상단 레이어는 내용 및 의미적 작업에 더 중요함을 확인하여, 모델이 계층적 표현을 학습하고 있음을 확인했다.

Fig. 2 : Weight Analysis.