[논문 리뷰] SpeakerNet: 1D Depth-wise Separable Convolutional Network for Text-Independent Speaker Recognition and Verification

Nithin Rao Koluguri, Jason Li외 2명|arXiv (Cornell University)|2020. 10. 23.

Speech Recognition and Synthesis참고 문헌 22인용 수 29

한 줄 요약

SpeakerNet는 텍스트 독립적 발화자 인식 및 검증을 위한 경량 1D 깊이 분리형 합성곱 신경망을 소개한다. 이는 x-vector 스타일의 통계 풀링을 적용한 QuartzNet 기반 인코더를 활용하여 고정 길이의 발화자 임베딩을 생성한다. 짧은 입력 세그먼트를 사용하고도 음성 활동 검출(VAD)이 없어도 VoxCeleb1 클린 및 테스트 세트에서 각각 2.10%, 2.29%의 EER을 기록하며 최신 기술 수준의 성능을 달성한다. 이는 단지 500만 파라미터를 가지는 작고 효율적인 SpeakerNet-M 버전을 통해 달성된다.

ABSTRACT

We propose SpeakerNet - a new neural architecture for speaker recognition and speaker verification tasks. It is composed of residual blocks with 1D depth-wise separable convolutions, batch-normalization, and ReLU layers. This architecture uses x-vector based statistics pooling layer to map variable-length utterances to a fixed-length embedding (q-vector). SpeakerNet-M is a simple lightweight model with just 5M parameters. It doesn't use voice activity detection (VAD) and achieves close to state-of-the-art performance scoring an Equal Error Rate (EER) of 2.10% on the VoxCeleb1 cleaned and 2.29% on the VoxCeleb1 trial files.

연구 동기 및 목표

• 음성 활동 검출(VAD)에 의존하지 않는 경량의 종단 간 신경망을 개발하여 텍스트 독립적 발화자 인식 및 검증을 수행하는 것.
• 학습 시간, 입력 발화 길이, 검증 성능(EER) 간의 상호 상충 관계를 조사하는 것.
• 특히 효율적인 학습 및 추론 환경에서 최신 기술 수준의 모델보다 훨씬 적은 파라미터를 사용하여 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 모델는 잔차 블록으로 구성된 1D 깊이 분리형 합성곱, 배치 정규화, ReLU, 드롭아웃 레이어를 포함한 QuartzNet 기반 인코더를 사용한다.
• 각 채널에 대해 시간에 따른 평균과 표준편차를 계산하여 가변 길이의 발화를 고정 길이의 임베딩(q-벡터)으로 변환하기 위해 x-vector 스타일의 통계 풀링을 적용한다.
• 완전 연결층으로 구성된 디코더는 교차 엔트로피 또는 추가 각도 마진 손실(AAM)을 사용하여 고정 길이의 임베딩을 발화자 분류 헤드로 매핑한다.
• 학습은 VoxCeleb1 및 VoxCeleb2 개발 데이터셋을 대상으로 하며, 코즈인 애너일링 학습률 스케줄링과 SGD 옵timizer를 사용하여 종단 간으로 수행된다.
• 청결한 테스트 세트에서의 성능 향상을 위해 MUSAN 노이즈 및 RIR 컨볼루션을 활용한 데이터 증강 기법을 적용한다.
• 학습 시간을 줄이기 위해 입력 발화를 8초로 잘라내거나 무작위로 청크로 나누어 처리한다. 이는 성능 저하가 최소한도로 유지된다.

실험 결과

연구 질문

• RQ1 음성 활동 검출(VAD)을 사용하지 않고도 경량 1D 깊이 분리형 합성곱 신경망이 텍스트 독립적 발화자 검증에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 전체 길이의 입력에 비해 8초로 입력 발화 길이를 단축했을 때 Equal Error Rate(EER)는 어떻게 변화하는가?
• RQ3 추가 각도 마진 손실(AAM)의 최적의 마진 및 스케일 하이퍼파rameter 조합은 무엇인가? 이는 검증 정확도 향상에 어떻게 기여하는가?
• RQ4 MUSAN 및 RIR를 활용한 데이터 증강 기법은 VoxCeleb1 테스트 세트에서 모델의 강인성과 EER에 어떤 영향을 미치는가?
• RQ5 단지 500만 파라미터만을 가진 모델이 발화자 검증 작업에서 더 큰 최신 기술 수준의 시스템을 초월할 수 있는가?

주요 결과

• VAD 없이 500만 파라미터를 가진 SpeakerNet-M는 VoxCeleb1 클린 세트에서 EER 2.10%, VoxCeleb1 테스트 세트에서 EER 2.29%를 기록하며 최신 기술 수준의 성능에 근접한다.
• 마진 m=0.2, 스케일 s=30로 설정한 추가 각도 마진 손실(AAM)을 사용한 학습이 교차 엔트로피 학습보다 EER 2.10%로 가장 우수한 성능을 달성한다.
• MUSAN 노이즈를 활용한 데이터 증강은 EER을 크게 향상시키지만, RIR 증강은 VoxCeleb1와 같은 근거리 녹음 환경에서는 제한적인 효과를 보였다.
• 입력 발화 길이를 8초로 단축하면 학습 시간이 약 50% 감소하며 성능 저하가 거의 없이 유지되며, 전체 길이 입력 대비 EER 증가 폭이 미미하다.
• 800만 파라미터를 가진 SpeakerNet-L은 VoxCeleb1 클린 세트에서 EER 2.10%, 테스트 세트에서 EER 2.32%를 기록하며 Kaldi 베이스라인(3.10% EER)을 초월하고 최신 기술 수준의 BUT 시스템(클린 세트에서 1.22% EER)에 근접한다.
• 모델의 아키텍처는 종단 간 ASR 시스템과의 원활한 통합을 가능하게 하며, 동일한 QuartzNet 기반 인코더를 공유함으로써 공동 학습 및 배포가 수월하다.