[논문 리뷰] Self-supervised Speaker Recognition with Loss-gated Learning

Ruijie Tao, Kong Aik Lee외 3명|arXiv (Cornell University)|2021. 10. 08.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 손실 기반 동적 필터링을 통해 훈련 중에 신뢰할 수 있는 가짜 레이블을 선택함으로써 자기지도 학습 스피커 인식 방법인 손실 게이팅 학습(Loss-gated Learning, LGL)을 제안한다. 신경망이 신뢰할 수 있는 레이블을 더 빨리 학습한다는 관찰에 기반하여, LGL은 성능을 향상시켜 VoxCeleb1에서 1.66%의 동등 오류율(EER)을 달성하며, LGL를 사용하지 않은 기준 모델 대비 46.3% 향상된다.

ABSTRACT

In self-supervised learning for speaker recognition, pseudo labels are useful as the supervision signals. It is a known fact that a speaker recognition model doesn't always benefit from pseudo labels due to their unreliability. In this work, we observe that a speaker recognition network tends to model the data with reliable labels faster than those with unreliable labels. This motivates us to study a loss-gated learning (LGL) strategy, which extracts the reliable labels through the fitting ability of the neural network during training. With the proposed LGL, our speaker recognition model obtains a $46.3\%$ performance gain over the system without it. Further, the proposed self-supervised speaker recognition with LGL trained on the VoxCeleb2 dataset without any labels achieves an equal error rate of $1.66\%$ on the VoxCeleb1 original test set. Code has been made available at: https://github.com/TaoRuijie/Loss-Gated-Learning.

연구 동기 및 목표

• 자기지도 학습 스피커 인식에서 신뢰할 수 없는 가짜 레이블이 모델 성능을 떨어뜨리는 문제를 해결하기 위해.
• 신경망이 훈련 과정에서 신뢰할 수 있는 가짜 레이블을 불신뢰할 수 있는 레이블보다 더 빨리 학습하는지 조사하기 위해.
• 높은 신뢰도 예측에 집중함으로써 모델 일반화 능력을 향상시키는 동적 레이블 선택 전략을 개발하기 위해.
• 인간 레이블링 데이터를 전혀 사용하지 않고 VoxCeleb1에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• LGL은 손실 값이 낮은 샘플을 선택하기 위해 임계값 기반 필터링 메커니즘을 사용하며, 이는 해당 샘플이 신뢰할 수 있는 가짜 레이블을 가진 것으로 간주한다.
• 동적 임계값 τ를 적용하여 반복 횟수에 따라 점차 증가시키며, 훈련이 진행됨에 따라 더 많은 샘플을 점차 포함한다.
• 각 반복에서, 오직 필터링된 샘플(낮은 손실)만을 사용하여 AAM-softmax 손실을 통해 스피커 인코더를 업데이트한다.
• 이 프레임워크는 이중 단계 훈련 과정을 따르며, 대비 사전 훈련(단계 I)과 LGL를 통한 반복적 가짜 레이블 개선(단계 II)으로 구성된다.
• 스피커 인코더는 이전 단계의 임베딩에 대해 k-means 군집화를 수행하여 생성된 가짜 레이블을 사용한다.
• 최종 모델은 1024채널 스피커 인코더를 사용하며, AAM-softmax 손실에서 마진(margin)=0.2 및 스케일(scale)=30로 훈련된다.

실험 결과

연구 질문

• RQ1 자기지도 학습 훈련 중에 신경망이 신뢰할 수 있는 가짜 레이블을 불신뢰할 수 있는 레이블보다 더 빨리 학습하는가?
• RQ2 손실 기반 필터링을 통해 고신뢰도 가짜 레이블을 선택함으로써 스피커 인식 성능을 효과적으로 향상시킬 수 있는가?
• RQ3 클러스터 수와 임계값 τ와 같은 하이퍼파라미터의 변화에 대해 제안된 LGL 방법의 성능이 얼마나 강인한가?
• RQ4 LGL은 반복적 자기지도 학습 훈련에서 군집 품질과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• LGL은 VoxCeleb1 원본 테스트 세트에서 1.66%의 동등 오류율(EER)을 달성하며, 기존 최고 성능 방법 대비 20.95% 향상되었다.
• LGL를 사용하지 않은 기준 모델 대비 46.3% 성능 향상을 보이며, 정확도 향상이 뚜렷하게 확인되었다.
• LGL은 모든 반복 주기에서 일관되게 성능 향상을 보였으며, 특히 가짜 레이블이 가장 불신뢰도가 높은 초기 단계에서 가장 큰 성과를 기록했다.
• 클러스터 수의 변화(3,000에서 9,000)에 대해 LGL는 일관된 성능 향상을 유지하며 기준 모델 대비 유의미한 개선을 보였다.
• 임계값 하이퍼파라미터 τ에 대해서도 LGL는 강인했으며, 테스트된 모든 값(1–5)이 필터링되지 않은 기준 모델(τ=∞) 대비 유의미한 성능 향상을 보였다.
• 후행 분석 결과, LGL가 선택한 데이터의 정규화 상호정보량(NMI)은 0.78로 전체 NMI(0.62)보다 뚜렷이 높았으며, 이는 효과적인 신뢰도 높은 가짜 레이블 필터링을 확인한다.