[논문 리뷰] Utterance-level Aggregation For Speaker Recognition In The Wild

Weidi Xie, Arsha Nagrani외 2명|arXiv (Cornell University)|2019. 02. 26.

Speech Recognition and Synthesis참고 문헌 24인용 수 17

한 줄 요약

이 논문은 얇은-ResNet 트렁크와 사전 기반 NetVLAD/GhostVLAD 레이어를 사용하여 말하기 수준의 집계를 수행하는 경량이며 엔드 투 엔드 학습 가능한 화자 인식 모델을 제안한다. 이는 VoxCeleb1에서 3.22% EER을 기록하며 기존 방법보다 뚜렷하게 뛰어난 성능을 내며 파rameter 수를 줄였다. 이 방법은 분류 가능한 시간 풀링을 학습하여 관련이 없는 음성 세그먼트를 효과적으로 걸러낸다.

ABSTRACT

The objective of this paper is speaker recognition "in the wild"-where utterances may be of variable length and also contain irrelevant signals. Crucial elements in the design of deep networks for this task are the type of trunk (frame level) network, and the method of temporal aggregation. We propose a powerful speaker recognition deep network, using a "thin-ResNet" trunk architecture, and a dictionary-based NetVLAD or GhostVLAD layer to aggregate features across time, that can be trained end-to-end. We show that our network achieves state of the art performance by a significant margin on the VoxCeleb1 test set for speaker recognition, whilst requiring fewer parameters than previous methods. We also investigate the effect of utterance length on performance, and conclude that for "in the wild" data, a longer length is beneficial.

연구 동기 및 목표

• 말의 길이가 다양하고 관련 없는 신호가 포함된 비제한적, '야외' 조건에서의 화자 인식 성능 향상.
• 모든 프레임을 동일하게 취급하고 노이즈나 관련 없는 콘텐츠를 걸러내지 못하는 전통적 풀링 방법(예: 평균 풀링)의 한계를 해결.
• 실제로 노이즈가 많은 환경에서 화자 인식 성능에 대해 입력 음성의 길이가 미치는 영향을 조사.
• 엔드 투 엔드 학습과 마진이 큰 소프트맥스 손실을 사용하여 분류 가능한 고정 길이 임베딩을 생성하는 컴act하고 효율적인 모델 설계.

제안 방법

• 2D 스펙트로그램을 위한 프레임 수준의 특징 추출기로 완전히 컨volutional인 '얇은-ResNet' 아키텍처를 사용.
• 학습 가능한 사전 기반 NetVLAD 또는 GhostVLAD 레이어를 사용하여 프레임 수준의 특징을 콘텐츠 인식형, 분류 가능한 시간 집계.
• NetVLAD/GhostVLAD 레이어는 프레임 특징을 학습된 클러스터 중심점에 할당하고 잔차를 고정 길이의 기술자로 인코딩.
• 대규모 VoxCeleb2 데이터셋에서 마진이 큰 소프트맥스(AM-Softmax) 또는 표준 소프트맥스 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 학습.
• 최종 확인 점수 계산에 코사인 유사도 또는 PLDA를 사용하며, 테스트 시 증강 기법을 적용하지 않음.
• 저자들이 공개한 VoxCeleb1 및 VoxCeleb1-H 테스트 세트의 정제된 버전을 평가에 사용.

Fig. 1 : Network architecture. It consists of two parts: feature extraction , where a shared CNN is used to encode the spectrogram and extract frame-level features, and aggregation , which aggregates all the local descriptors into a single compact representation of arbitrary length.

실험 결과

연구 질문

• RQ1 비제한적이고 노이즈가 많은 조건에서, 사전 기반 집계 레이어(NetVLAD/GhostVLAD)가 기존의 표준 풀링 방법보다 화자 인식 성능에서 뛰어나게 작용할 수 있는가?
• RQ2 엔드 투 엔드 학습을 통해 얇은-ResNet 아키텍처를 사용할 경우, 더 깊고 파rameter가 많은 모델보다 성능과 효율성이 뛰어나게 되는가?
• RQ3 입력 음성의 길이가 '야외' 환경에서 화자 인식 정확도에 어떤 영향을 미치는가?
• RQ4 중복된 클러스터를 제거하는 GhostVLAD 레이어가 관련 없는 음성 세그먼트를 걸러내어 성능을 추가로 향상시킬 수 있는가?
• RQ5 주의 또는 통계적 풀링 방법을 사용한 성능 향상이 여전히 분류 가능한 사전 기반 집계 방법에 비해 열등한가?

주요 결과

• AM-Softmax와 GhostVLAD를 사용하여 VoxCeleb1 테스트 세트에서 3.22% EER을 기록하며 이는 이전 최고 성능(4.48% EER)을 뛰어넘고 파arameter 수를 26M에서 10M로 줄였다.
• 더 도전적인 VoxCeleb1-H 테스트 세트에서는 5.17% EER을 기록하여 원본 ResNet 기반 모델(7.33% EER)보다 뚜렷하게 뛰어났다.
• 음성 길이와 성능 간에 강한 정적 상관관계가 있다: 2초일 경우 EER이 7.97%에서 6초일 경우 3.39%로 감소하여 더 긴 세그먼트가 강건성을 향상시킨다.
• 시간 평균 풀링(TAP)은 열악한 성능(10.48% EER)을 보이며, 내부 클래스 변동성을 줄이지 못함에도 불구하고 외부 클래스 분離는 향상된 것으로 나타났다.
• GhostVLAD 레이어는 클러스터 수(8–14)에 대해 매우 강건하여 설정 간 EER 변화가 0.1% 미만으로 안정적인 성능을 보였다.
• 얇은-ResNet, NetVLAD/GhostVLAD, AM-Softmax 손실의 조합은 최소한의 모델 크기로 최고 성능을 달성하며 효율성과 효과성을 입증했다.