[논문 리뷰] The JHU submission to VoxSRC-21: Track 3

Jaejin Cho, Jesús Villalba외 1명|arXiv (Cornell University)|2021. 09. 28.

Speech Recognition and Synthesis참고 문헌 19인용 수 11

한 줄 요약

이 논문은 초기 모델 사전학습을 위해 비대비 학습(DINO) 방법을 사용하는 자기지도 학습 발화자 확인 시스템을 제안한다. 이어서 Res2Net50에서 반복 클러스터링과 가짜 레이블링, 강건한 학습을 수행한다. 제안된 방법은 각각 VoxCeleb1-O, VoxSRC-21 검증 및 테스트 세트에서 1.91%, 6.32%, 6.64%의 EER를 기록하여 대비 학습 기반 모델들을 능가하며, 우수한 초기 임bedding 덕분에 반복 클러스터링 단계를 줄였다.

ABSTRACT

This technical report describes Johns Hopkins University speaker recognition system submitted to Voxceleb Speaker Recognition Challenge 2021 Track 3: Self-supervised speaker verification (closed). Our overall training process is similar to the proposed one from the first place team in the last year's VoxSRC2020 challenge. The main difference is a recently proposed non-contrastive self-supervised method in computer vision (CV), distillation with no labels (DINO), is used to train our initial model, which outperformed the last year's contrastive learning based on momentum contrast (MoCo). Also, this requires only a few iterations in the iterative clustering stage, where pseudo labels for supervised embedding learning are updated based on the clusters of the embeddings generated from a model that is continually fine-tuned over iterations. In the final stage, Res2Net50 is trained on the final pseudo labels from the iterative clustering stage. This is our best submitted model to the challenge, showing 1.89, 6.50, and 6.89 in EER(%) in voxceleb1 test o, VoxSRC-21 validation, and test trials, respectively.

연구 동기 및 목표

• 비대비 자기지도 학습(SSL)이 발화자 확인에서 어떻게 효과적인지 평가하기 위해, 특히 DINO를 사용한 학습의 효과를 검토한다.
• DINO 사전학습을 통해 초기 모델 품질을 향상시켜 반복 클러스터링 단계의 수를 줄이기 위한 목적으로 제안한다.
• 짧은 발화에 적합한 세그먼트 길이와 마진 조정을 통해 더 큰 모델에서 강건한 학습을 최적화한다.
• 사전학습 단계에서 발화자 레이블을 사용하지 않고도 VoxSRC-21 Track 3에서 최신 기준 성능을 달성하기 위한 목표를 설정한다.
• 4초 미만의 짧은 테스트 발화에 대한 도전 과제를 해결하기 위해 최적의 학습 세그먼트 길이를 선정한다.

제안 방법

• 동일 샘플의 증강된 뷰 간의 일치도를 최대화하는 비대비 학습 방법인 DINO를 사용하여 초기 발화자 임베딩 모델을 사전학습한다. 이 방법은 부정 샘플 탐색이 필요하지 않다.
• 교수-학생 디스틸레이션 프레임워크를 적용하며, 교사 네트워크에 지수 이동 평균 업데이트를 사용하고, 중심화 및 날카운수 조정을 통해 분해되는 해를 방지한다.
• DINO로 학습된 임베딩을 바탕으로 k=7500 클러스터를 사용한 반복 클러스터링을 통해 가짜 레이블을 생성하며, 몇 에포크마다 레이블을 갱신한다.
• AAM(Angular Margin) 손실을 사용하여 ResNet34 모델을 학습하며, 20 에포크 동안 마진을 0에서 0.3으로 점진적으로 증가시킨다. 이는 가짜 레이블링된 임베딩을 정밀하게 보정하기 위함이다.
• 최종 가짜 레이블을 기반으로 더 큰 Res2Net50 모델을 AAM 손실로 미세조정하며, 세그먼트 길이와 마진 하이퍼파라미터를 조정하여 더 긴 학습 세그먼트에 대한 과적합을 방지한다.
• 테스트 발화의 짧은 지속시간에 더 잘 맞추기 위해, 4초 세그먼트 대신 3초 청크를 사용하여 마진 스케줄링을 통한 대규모 마진 미세조정을 최적화한다.

실험 결과

연구 질문

• RQ1 비대비 자기지도 학습(DINO)이 발화자 임베딩 학습에서 MoCo와 같은 대비 학습 방법보다 성능이 뛰어나게 작용할 수 있는가?
• RQ2 DINO를 초기 사전학습 방법으로 사용할 경우, 가짜 레이블링 파이프라인에서 반복 클러스터링 단계의 수가 줄어들 수 있는가?
• RQ3 대규모 마진 미세조정 단계에서 학습 세그먼트 길이를 어떻게 선택하느냐가 VoxSRC-21에서 짧은 테스트 발화에 대한 성능에 영향을 미치는가?
• RQ4 마진 스케줄링을 사용하여 미세조정한 더 큰 모델(Res2Net50)이 짧은 발화를 가진 미지의 테스트 세트에서 일반화 성능을 향상시킬 수 있는가?
• RQ5 DINO에서 유도된 초기 임베딩의 품질이 MoCo 기반 기준 모델 대비 더 나은 최종 성능을 이끌어낼 수 있는가?

주요 결과

• DINO 사전학습은 VoxCeleb1-O에서 4.83% EER을 기록하여 MoCo(7.3%)를 능가했으며, 광범위한 반복 클러스터링의 필요성을 줄였다.
• 반복 클러스터링 단계는 단 4회 반복만으로 수렴하였고, VoxCeleb1-O에서 EER은 2.13%로 안정화되었으며, VoxSRC-21 검증 세트에서는 6.88%를 기록했다.
• 3초 청크와 마진 조정을 통한 Res2Net50에서의 강건한 학습은 VoxCeleb1-O에서 1.91%, VoxSRC-21 검증 세트에서 6.32%, 테스트 세트에서 6.64%의 EER을 달성했다.
• 대규모 마진 미세조정에 4초 청크를 사용할 경우 성능이 저하되었으며(EER 7.23%), 더 긴 세그먼트에 과적합된 것으로 나타났다.
• 최종 시스템은 VoxSRC-21 Track 3에서 최신 기준 성능을 달성하였으며, 마감 이후 제출한 최고 성능(6.64% EER)을 기록했다.
• DINO를 초기 백본으로 사용함으로써 임베딩 품질이 크게 향상되어 빠른 수렴과 짧은 발화에 대한 더 나은 일반화 성능이 가능해졌다.