[논문 리뷰] Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization

Mufan Sang, Haoqi Li외 3명|arXiv (Cornell University)|2021. 12. 08.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 음성의 동일한 발화자에서 유도된 긍정 쌍만을 활용하고 복잡한 아키텍처를 피하는 새로운 자기지도 학습 정규화(Self-Supervised Regularization, SSReg)를 사용하는 자기지도 학습 발화자 검증 프레임워크를 제안한다. 강력한 온라인 데이터 증강 기법과 함께 SSReg는 VoxCeleb1 및 Vox2에서 기존 방법들을 능가하며 상대적으로 EER을 23.4% 향상시키며, 더 단순하고 견고한 설정을 구현한다.

ABSTRACT

Training speaker-discriminative and robust speaker verification systems without speaker labels is still challenging and worthwhile to explore. In this study, we propose an effective self-supervised learning framework and a novel regularization strategy to facilitate self-supervised speaker representation learning. Different from contrastive learning-based self-supervised learning methods, the proposed self-supervised regularization (SSReg) focuses exclusively on the similarity between the latent representations of positive data pairs. We also explore the effectiveness of alternative online data augmentation strategies on both the time domain and frequency domain. With our strong online data augmentation strategy, the proposed SSReg shows the potential of self-supervised learning without using negative pairs and it can significantly improve the performance of self-supervised speaker representation learning with a simple Siamese network architecture. Comprehensive experiments on the VoxCeleb datasets demonstrate that our proposed self-supervised approach obtains a 23.4% relative improvement by adding the effective self-supervised regularization and outperforms other previous works.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터에 의존하지 않고도 분류 가능한 발화자 임베딩을 학습할 수 있는 자기지도 학습 발화자 검증 시스템을 개발하는 것.
• 대규모 음성 데이터를 사용하지 않고도 레이블이 없는 데이터만으로 강력한 발화자 표현을 학습하고, 모멘텀 인코더나 큰 음성 음수 큐와 같은 복잡한 구성 요소에 대한 의존도를 최소화하는 도전 과제를 해결하는 것.
• 자기지도 학습에서 긍정 쌍만을 사용하는 정규화의 효과성을 탐구하는 것.
• 강력한 온라인 데이터 증강 전략과 함께 새로운 정규화 메커니즘을 결합하여 성능을 향상시키는 것.

제안 방법

• 동일한 발화자로부터 랜덤으로 잘린 음성 클립을 긍정 쌍으로 처리하는 시아모이 네트워크 아키텍처 기반의 자기지도 학습 프레임워크를 제안한다.
• 자기지도 정규화(SSReg)를 도입하여, 음수 쌍을 사용하지 않고도 긍정 쌍의 잠재 표현 간 유사도를 최대화하는 새로운 손실 함수를 제안한다.
• 복잡한 아키텍처를 피하기 위해 반사, 추가 노이즈, SpecAugment, 속도 변형을 조합한 강력한 온라인 데이터 증강 전략을 사용해 모델의 견고성을 향상시킨다.
• 자기지도 대비 손실과 SSReg 손실을 균형 잡기 위해 학습 가능한 가중치 λ를 사용하여 공동 목적 함수를 최적화한다.
• 대비 학습과 SSReg를 조합하여 종단 간(end-to-end)으로 모델을 훈련시키며, 내부 발화자 일관성에 초점을 맞춘다.
• 대비 학습, 모멘텀 인코더, 동적 큐, 가짜 레이블을 위한 클러스터링을 피함으로써 훈련 파이프라인을 단순화한다.

실험 결과

연구 질문

• RQ1 음수 샘플에 의존하지 않고 긍정 쌍만을 사용하는 자기지도 학습 방식이 발화자 표현 학습을 상당히 향상시킬 수 있는가?
• RQ2 대비 학습 방법과 비교했을 때, 자기지도 정규화(SSReg)를 적용한 단순한 시아모이 네트워크의 성능은 어떻게 되는가?
• RQ3 다양한 온라인 데이터 증강 전략이 자기지도 학습 발화자 임베딩 성능에 어떤 영향을 미치는가?
• RQ4 모멘텀 인코더나 큰 음수 큐를 사용하는 복잡한 모델보다, 경량 아키텍처에 SSReg를 적용한 모델이 성능에서 뒤지지 않는가?

주요 결과

• 제안된 방법은 VoxCeleb1 테스트 세트에서 6.99%의 EER을 달성하여, 정규화 없이 기준 모델 대비 상대적으로 23.4% 향상된 성능을 보였다.
• SSReg만으로도 대비 손실 없이도 EER을 14.50%까지 낮추며, 긍정 쌍만을 사용하는 정규화의 효과를 입증했다.
• 최적의 성능은 λ = 0.08일 때 달성되었으며, 이 경우 EER은 6.99%, minDCF는 0.434로, MoCo+WavAug(8.63% EER)와 MoCo+WavAug(ProtoNCE)(8.23% EER)를 모두 능가했다.
• AP+AAT, AP+Ch, Disent, CDDL, GCL, i-vector와 같은 최신 기술 수준의 접근 방식들보다 상대적으로 EER을 15.6%에서 19.2%까지 감소시켰다.
• R+N+SpecAug+Speed 증강 조합이 가장 뛰어난 성능을 보였으며, Vox1에서 EER은 9.22%였고, 이는 다양한 데이터 증강의 중요성을 보여준다.
• 제거 실험 결과, 모멘텀 인코더나 큰 음수 큐 없이도 SSReg가 효과가 있음을 확인하여, 그 견고성과 단순성을 입증했다.