[논문 리뷰] The HCCL system for VoxCeleb Speaker Recognition Challenge 2022

Zhenduo Zhao, Zhuo Li외 2명|arXiv (Cornell University)|2023. 05. 22.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 VoxCeleb Speaker Recognition Challenge 2022의 HCCL 시스템을 제시하며, 저자원 환경에서 가짜 레이블 생성을 위한 새로운 점진적 부분그래프 클러스터링 방법과 이중 가우시안 피팅, 다중 모델 투표 기반 기법을 도입한다. 이는 Track 1에서 minDCF 0.1397, EER 2.414의 최고 성능을 기록하였고, 도메인 적응, 레이블 보정, 앙상블 모델링을 통해 Track 3에서 EER 7.030, minDCF 0.388로 1위를 달성하였다.

ABSTRACT

This report describes our submission to track1 and track3 for VoxCeleb Speaker Recognition Challenge 2022(VoxSRC2022). Our best system achieves minDCF 0.1397 and EER 2.414 in track1, minDCF 0.388 and EER 7.030 in track3.

연구 동기 및 목표

• Track 3에서 레이블이 부여된 화자 수가 50명 뿐인 저자원 환경에서 효과적인 도메인 적응 및 가짜 레이블 전략을 개발하여 화자 인식 문제를 해결한다.
• 고도화된 데이터 증강 및 훈련 프로토콜을 통해 실제 환경 조건에서의 모델 일반화 및 강인성을 향상시킨다.
• 이중 가우시안 피팅과 다중 모델 투표 기반의 점진적 부분그래프 클러스터링 알고리즘을 개발하여 비라벨 데이터로부터 고품질의 가짜 레이블을 생성한다.
• 신뢰도 기반 다중 모델 투표 전략을 통해 노이즈가 있는 가짜 레이블을 보정하여 클러스터링 순도와 최종 인식 정확도를 향상시킨다.
• 앙상블 모델링 및 점수 校정 기법을 활용하여 VoxSRC2022의 여러 트랙에서 최고 성능을 달성한다.

제안 방법

• 이중 가우시안 피팅을 사용하여 문장 간 유사도 점수 기반으로 하위 화자 그룹을 탐지하고 융합하는 점진적 부분그래프 클러스터링 알고리즘(GMVPG)을 제안한다.
• 다중 모델 예측을 통합하여 레이블 일관성을 투표하고, 모델 간 일관성이 있는 샘플들만 선택하여 레이블 보정에 활용한다.
• 신뢰도 기반 임계값 설정 기법을 적용한다: 고신뢰도(정상화된 유사도 상위1 > 0.5, 상위2 < 0.4), 중간신뢰도(둘 다 > 0.4), 저신뢰도(상위1 < 0.5)로 레이블 보정을 유도한다.
• 두 클러스터가 융합되어야 하는지 여부를 결정하기 위해 CheckCombine 함수를 사용하며, 이는 가우시안 파ameters(μ, σ, w)와 임계값 th_nm을 기반으로 한다.
• 두 단계 훈련 프rotocol을 구현한다: 첫 번째 단계는 사이클릭 학습률과 데이터 증강을 적용하고, 두 번째 단계는 가중치 감소를 증가시킨 대용량 마진 미세조정(LMF)을 수행한다.
• 코hort 및 시험 세트를 사용하여 로지스틱 회귀 기반의 적응적 점수 정규화(AS-norm)와 품질 측정 함수(QMF)를 적용하여 점수를 校정한다.

실험 결과

연구 질문

• RQ1 50명의 레이블이 부여된 화자만 존재하는 저자원 환경에서 가짜 레이블을 신뢰성 있게 생성할 수 있는 방법은 무엇인가?
• RQ2 이중 가우시안 피팅을 통한 점진적 부분그래프 클러스터링 방법이 클러스터링 순도와 화자 인식 성능에 얼마나 기여하는가?
• RQ3 다중 모델 투표와 신뢰도 기반 필터링 전략이 클러스터링 알고리즘에서 유도된 노이즈가 있는 가짜 레이블을 얼마나 효과적으로 보정하는가?
• RQ4 도메인 적응 및 데이터 증강이 실제 환경에서의 화자 인식 모델 일반화에 미치는 영향은 어떠한가?
• RQ5 앙상블 모델링과 점수 校정이 VoxSRC2022의 Track 1과 Track 3에서 minDCF와 EER을 크게 향상시키는 데 기여하는가?

주요 결과

• HCCL 시스템은 Track 1에서 minDCF 0.1397, EER 2.414를 기록하여 100개 이상의 참가자 중 6위를 차지하였다.
• Track 3에서는 EER 7.030, minDCF 0.388를 기록하여 100개 이상의 팀 중 1위를 확보하였다.
• 레이블 보정을 적용한 S1–S5 모델의 융합으로 Track 3의 dev-EER가 8.78%에서 6.77%로, eval-EER가 8.42%에서 7.03%로 감소하였다.
• 제안된 GMVPG 클러스터링 알고리즘은 레이블 보정 후 화자 수를 1711명에서 1760명으로, 문장 수를 348,861건에서 387,700건으로 증가시켰다.
• LMF(대용량 마진 미세조정)를 적용한 두 단계 훈련 프로토콜은 여러 모델에서 EER을 0.15–0.25% 감소시켜 성능 향상을 이끌었다.
• 적응적 점수 정규화와 QMF 校정을 적용함으로써 Track 1에서 EER이 최대 0.5% 감소하였고, 최종 순위 향상에 기여하였다.