[논문 리뷰] The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description

J. Slavicek, Albert Swart외 2명|arXiv (Cornell University)|2021. 09. 05.

Speech Recognition and Synthesis참고 문헌 15인용 수 6

한 줄 요약

이 논문은 VoxCeleb 2021 챌린지에서 Phonexia의 자기지도 학습 화자 인식 시스템을 제시하며, 허위 레이블을 사용한 반복 클러스터링과 대비 학습을 통해 깊이 있는 신경망 임bedding을 훈련한다. 다양한 임bedding 추출기에서 유도된 다섯 개의 zt-정규화된 코사인 점수를 융합한 결과, 4.986%의 EER을 달성하여 대회에서 2위를 기록하였다.

ABSTRACT

We describe the Phonexia submission for the VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC-21) in the unsupervised speaker verification track. Our solution was very similar to IDLab's winning submission for VoxSRC-20. An embedding extractor was bootstrapped using momentum contrastive learning, with input augmentations as the only source of supervision. This was followed by several iterations of clustering to assign pseudo-speaker labels that were then used for supervised embedding extractor training. Finally, a score fusion was done, by averaging the zt-normalized cosine scores of five different embedding extractors. We briefly also describe unsuccessful solutions involving i-vectors instead of DNN embeddings and PLDA instead of cosine scoring.

연구 동기 및 목표

• 훈련 중 화자 레이블에 접근할 수 없을 경우에도 경쟁력 있는 성능을 보이는 자기지도 학습 화자 인식 시스템을 개발하는 것.
• 반복 클러스터링을 통한 허위 화자 레이블의 효과가 자기지도 학습에서 임bedding 품질 향상에 기여하는지 조사하는 것.
• 점수 정규화와 모델 융합이 최종 시스템 성능에 미치는 영향을 평가하는 것.
• PLDA 및 i-벡터와 같은 대안 점수 백엔드의 성능을 탐색하고, 자기지도 학습 환경에서의 한계를 규명하는 것.
• 탭룰라 라사(self-supervised) 훈련의 가능성 여부를 평가하고, 도메인 외부 레이블 데이터를 활용한 적응 기반 대체 전략을 제안하는 것.

제안 방법

• 훈련은 입력 증강을 유일한 감독 신호로 사용하는 모멘타무 대비 학습으로 시작되며, 대비 손실을 위한 양성 및 음성 쌍을 생성한다.
• 반복 클러스터링 적용: 이전 모델의 임bedding을 k-means와 응집형 계층적 클러스터링(AHC)을 사용해 7,500개의 허위 화자로 클러스터링하고, 이를 감독 훈련을 위한 허위 레이블로 사용한다.
• 두 개의 신경망을 병렬로 훈련하며, 상호 다른 모델의 허위 레이블을 사용해 번갈아가며 업데이트하며, 자기-디스틸리케이션 기법을 영감으로 삼는다.
• 반복 과정에서 학습 설정을 수정한다—학습률 조정, margin m=0.3인 AAM-Softmax 사용, 6초 분량의 훈련 예제 활용 등으로 수렴성과 성능을 향상시킨다.
• 최종 점수는 다섯 개의 서로 다른 임bedding 추출기에서 유도된 zt-정규화된 코사인 유사도의 평균을 취하여 확보하며, 정규화는 훈련 데이터에서 무작위 코hort를 사용한다.
• 최종 반복에 BiTempered 손실을 적용하며, t1=0.99 및 t2=1.01로 설정하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 반복적 허위 레이블링과 클러스터링이 종단 간 대비 미리 훈련된 모델 대비 자기지도 학습에서 화자 임bedding 품질 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 무작위 코hort를 사용한 점수 정규화가 자기지도 학습 화자 인식에서 코사인 점수의 강인성과 정확도를 향상시키는가?
• RQ3 PLDA 및 i-벡터 백엔드가 자기지도 학습 임bedding을 사용함에도 불구하고 성능 향상에 실패하는 이유는 무엇이며, 이 설정에서의 한계는 무엇인가?
• RQ4 다양하게 독립적으로 훈련된 추출기의 모델 융합이 자기지도 학습 화자 인식에서 최종 성능 향상에 얼마나 기여하는가?
• RQ5 탭룰라 라사 자기지도 학습 훈련은 진정으로 가능하고 효과적인가, 아니면 실세계 응용에서는 대규모 레이블 데이터에서의 적응을 선호해야 하는가?

주요 결과

• 최종 시스템은 다섯 개의 서로 다른 모델에서 유도된 zt-정규화된 코사인 점수를 융합한 결과, VoxSRC-21 검증 세트에서 4.986%의 EER을 달성하였다.
• 단일 모델 중 가장 우수한 모델(iter15bt)은 융합 이전에 5.319%의 EER을 기록했으며, zt-정규화 후 4.885%로 향상되었다.
• zt-정규화된 점수 융합은 최고의 단일 모델 대비 EER을 0.38% 감소시켜 앙상블 점수의 효과를 입증하였다.
• 반복 클러스터링 과정에서 반복 10회 이후 수익 감소 현상이 나타나며, 반복 8회 이후 성능 향상 속도가 크게 둔화되었다.
• 다양한 실험에도 불구하고 i-벡터 및 PLDA 백엔드는 단순 코사인 점수 대비 성능 향상에 실패하였으며, i-벡터는 20% 이상의 EER을 기록하였다.
• 최종 시스템은 대회에서 2위를 기록하였으며, 이후 취소된 팀의 성과에 이어져 VoxSRC-2021에서 최고의 자기지도 학습 시스템 중 하나로 평가되었다.