[논문 리뷰] Self-Supervised Learning with Cluster-Aware-DINO for High-Performance Robust Speaker Verification

Bing Han, Zhengyang Chen외 1명|arXiv (Cornell University)|2023. 04. 12.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 음성 인식에서 음성 집합 간의 음성 대비를 제거하기 위해 DINO 학습 목적을 활용하고, 클러스터 인식 훈련 및 레이블 보정을 통한 동적 손실 게이트(DLG-LC)로 강화된 자기지도 학습 기반의 음성 인식 프레임워크인 Cluster-Aware DINO(CA-DINO)를 제안한다. 이는 인간이 레이블링한 데이터 없이도 VoxCeleb에서 최고 성능을 기록하며, 일부 설정에서는 완전히 지도 학습된 시스템을 초월한다.

ABSTRACT

Automatic speaker verification task has made great achievements using deep learning approaches with the large-scale manually annotated dataset. However, it's very difficult and expensive to collect a large amount of well-labeled data for system building. In this paper, we propose a novel and advanced self-supervised learning framework which can construct a high performance speaker verification system without using any labeled data. To avoid the impact of false negative pairs, we adopt the self-distillation with no labels (DINO) framework as the initial model, which can be trained without exploiting negative pairs. Then, we introduce a cluster-aware training strategy for DINO to improve the diversity of data. In the iteration learning stage, due to a mass of unreliable labels from clustering, the quality of pseudo labels is important for the system training. This motivates us to propose dynamic loss-gate and label correction (DLG-LC) methods to alleviate the performance degradation caused by unreliable labels. More specifically, we model the loss distribution with GMM and obtain the loss-gate threshold dynamically to distinguish the reliable and unreliable labels. Besides, we adopt the model predictions to correct the unreliable label, for better utilizing the unreliable data rather than dropping them directly. Moreover, we extend the DLG-LC to multi-modality to further improve the performance. The experiments are performed on the commonly used Voxceleb dataset. Compared to the best-known self-supervised speaker verification system, our proposed method obtain 22.17%, 27.94% and 25.56% relative EER improvement on Vox-O, Vox-E and Vox-H test sets, even with fewer iterations, smaller models, and simpler clustering methods. More importantly, the newly proposed system even achieves comparable results with the fully supervised system, but without using any human labeled data.

연구 동기 및 목표

• 대규모이고 정확하게 레이블링된 음성 인식 데이터셋의 높은 비용과 부족함을 해결하기 위해 완전히 자기지도 학습 기반의 훈련을 가능하게 한다.
• 자기지도 학습 SV에서 대비 학습의 한계를 극복한다. 특히 다수의 음성에서 발생하는 음성 간 불일치로 인한 잘못된 음성 대비 쌍의 문제를 해결한다.
• 신뢰할 수 없는 클러스터링에도 불구하고 의사 레이블의 품질을 향상시켜 반복적인 자기지도 학습에서 모델의 강건성과 성능을 향상시킨다.
• 고도화된 손실 및 레이블 처리 기법을 통해 자기지도 학습과 완전히 지도 학습 시스템 간의 성능 격차를 줄인다.

제안 방법

• 음성 대비가 필요 없고 명시적인 대비 목적 없이도 훈련이 가능하도록, DINO 자기-분해 프레임워크를 초기 사전 훈련 단계로 채택한다.
• 다양한 음성에서 동일한 음성 집합에 속하는 양성 샘플을 수집함으로써 클러스터 인식 훈련을 도입하여 데이터 다양성과 표현 품질을 향상시킨다.
• 손실 분포를 혼합 정규분포 모델(GMM)을 사용해 모델링함으로써 신뢰할 수 없는 의사 레이블 샘플을 식별하고 필터링하는 동적 손실 게이트(DLG) 메커니즘을 구현한다.
• 신뢰할 수 없는 의사 레이블을 모델 예측 후행 분포로 대체함으로써 레이블 보정(LC)을 적용하여 정보 손실을 방지하고 데이터 손실을 최소화한다.
• 반복적 훈련 동안 음성 및 시각 특징을 융합하여 다중모달 학습으로 DLG-LC 프레임워크를 확장함으로써 더 강건하고 정확한 성능 향상을 이룬다.
• 더 단순한 아키텍처와 클러스터링에도 불구하고, 2~3회 훈련 반복만으로도 높은 성능을 달성하는 경량 ECAPA-TDNN-Small 모델(512채널)을 사용한다.

실험 결과

연구 질문

• RQ1 인간이 레이블링한 데이터나 대규모 지도 학습 데이터에 의존하지 않고도 자기지도 학습 기반 음성 인식 시스템이 최고 성능을 달성할 수 있는가?
• RQ2 DINO 자기-분해 프레임워크는 음성 대비 쌍이 없는 상황에서 어떻게 음성 표현 학습을 향상시킬 수 있는가?
• RQ3 다양한 음성에서의 내부 음성 다양성을 활용함으로써 클러스터 인식 훈련이 모델 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 동적 손실 게이트 및 레이블 보정이 반복적인 자기지도 학습에서 노이즈가 많거나 신뢰할 수 없는 의사 레이블로 인한 성능 저하를 얼마나 효과적으로 완화할 수 있는가?
• RQ5 음성과 시각 특징의 다중모달 융합이 자기지도 학습과 완전히 지도 학습 시스템 간의 성능 격차를 더 줄일 수 있는가?

주요 결과

• 제안된 CA-DINO + DLG-LC 프레임워크는 Vox-O, Vox-E, Vox-H 테스트 세트에서 각각 22.17%, 27.94%, 25.56%의 상대적 EER 향상을 기록하여 기존 최고 성능의 자기지도 학습 시스템을 초월한다.
• 2~3회 훈련 반복과 더 작은 ECAPA-S(Small) 모델을 사용함에도 불구하고, 더 큰 모델과 더 많은 반복 횟수를 사용한 이전 최고 성능 시스템을 뛰어넘는다.
• 지상 진실 레이블이 전혀 없음에도 불구하고, VoxCeleb에서 완전히 지도 학습된 ECAPA-TDNN-Small 모델과 유사한 성능을 달성한다.
• DLG-LC 프레임워크 내에서 음성과 시각 특징의 다중모달 융합은 Vox-O에서 1.191%의 EER을 기록하며, 공정한 비교를 위해 적응형 s-norm를 사용했을 때 완전히 지도 학습 기반의 베이스라인(1.010%)을 초월한다.
• 손실 히스토GRAM의 GMM 모델링에 기반한 동적 손실 게이트 메커니즘은 신뢰할 수 없는 의사 레이블 샘플을 효과적으로 식별하고 필터링하여 훈련의 안정성과 정확도를 향상시킨다.
• 모델 후행 분포 추정을 통한 레이블 보정은 잘못된 레이블로 인한 성능 저하를 방지하며, 단순한 데이터 정제 전략보다 뛰어난 성능을 보인다.