[논문 리뷰] S-vectors: Speaker Embeddings based on Transformer's Encoder for Text-Independent Speaker Verification.

Metilda Sagaya Mary N. J, Sandesh V. Katta외 1명|arXiv (Cornell University)|2020. 08. 11.

Speech Recognition and Synthesis참고 문헌 17인용 수 10

한 줄 요약

이 논문은 자기주의존재 기반 트랜스포머 인코더와 통계 풀링을 활용한 s-벡터를 제안하며, VoxCeleb-1 및 VoxCeleb-1+2에서 x-벡터 대비 %EER 기준 10–15%의 상대적 향상도를 달성하여, 텍스트 독립적 화자 확인에서 전반적인 맥락 모델링의 우수성을 입증한다.

ABSTRACT

X-vectors have become the standard for speaker-embeddings in automatic speaker verification. X-vectors are obtained using a Time-delay Neural Network (TDNN) with context over several frames. We have explored the use of an architecture built on self-attention which attends to all the features over the entire utterance, and hence better capture speaker-level characteristics. We have used the encoder structure of Transformers, which is built on self-attention, as the base architecture and trained it to do a speaker classification task. In this paper, we have proposed to derive speaker embeddings from the output of the trained Transformer encoder structure after appropriate statistics pooling to obtain utterance level features. We have named the speaker embeddings from this structure as s-vectors. s-vectors outperform x-vectors with a relative improvement of 10% and 15% in % EER when trained on Voxceleb-1 only and Voxceleb-1+2 datasets. We have also investigated the effect of deriving s-vectors from different layers of the model.

연구 동기 및 목표

• 기존의 TDNN 기반 x-벡터에 비해 성능 향상을 이룰 수 있도록 자기주의존재 기반 메커니즘을 화자 임베딩 학습에 적용하는 것을 탐색하는 것.
• 트랜스포머 인코더의 전역 맥락 모델링 기능이 TDNN의 국소 맥락 모델링보다 화자 수준의 특징을 더 잘 포착할 수 있는지 조사하는 것.
• 학습된 트랜스포머 인코더의 다양한 레이어에서 화자 임베딩을 유도하는 것의 효과를 평가하는 것.
• 주의 기반 아키텍처를 사용한 텍스트 독립적 화자 확인의 새로운 베이스라인을 수립하는 것.
• 표준 벤치마크인 VoxCeleb-1 및 VoxCeleb-1+2에서 s-벡터와 x-벡터의 성능을 비교하는 것.

제안 방법

• 화자 분류 작업을 위해 음성 단위 레이블을 사용하여 트랜스포머 인코더 아키텍처를 학습하는 것.
• 트랜스포머 인코더의 출력에 통계 풀링(평균 및 표준편차)을 적용하여 고정 차원의 음성 단위 임베딩을 생성하는 것.
• 학습된 트랜스포머 인코더의 최종 레이어에서 s-벡터를 유도하며, 중간 레이어에 대한 분석 실험을 수행하는 것.
• 공정한 비교를 위해 x-벡터와 동일한 학습 목표와 데이터를 사용하며, 주로 화자 확인 성능에 초점을 맞추는 것.
• 입력 음성의 모든 프레임에 걸쳐 자기주의존재를 적용하여 장거리 의존성과 전역적 화자 특징을 포착하는 것.
• 최종 표현을 s-벡터로 사용하기 위해 화자 분류를 위한 엔드 투 엔드 최적화를 수행하는 것.

실험 결과

연구 질문

• RQ1 자기주의존재 기반 트랜스포머 인코더는 텍스트 독립적 화자 확인에서 TDNN 기반 x-벡터를 초월할 수 있는가?
• RQ2 트랜스포머 인코더의 다양한 레이어에서 유도된 s-벡터의 성능는 어떻게 변화하는가?
• RQ3 표준 벤치마크에서 s-벡터가 x-벡터 대비 %EER 기준 상대적 향상도는 얼마인가?
• RQ4 자기주의존재를 통한 전역 맥락 모델링은 TDNN의 국소 맥락 모델링보다 더 강력한 화자 임베딩을 제공하는가?
• RQ5 VoxCeleb-1에 비해 더 큰 데이터셋인 VoxCeleb-1+2에서 학습된 s-벡터는 어떤 성능을 보이는가?

주요 결과

• VoxCeleb-1 데이터셋에서 학습된 s-벡터는 x-벡터 대비 %EER 기준 10%의 상대적 향상도를 달성한다.
• 더 큰 VoxCeleb-1+2 데이터셋에서 s-벡터는 x-벡터 대비 %EER 기준 15%의 상대적 향상도를 보인다.
• s-벡터의 성능는 트랜스포머 레이어의 선택에 민감하며, 최종 레이어에서 가장 우수한 성능를 기록한다.
• 입력 전체에 걸쳐 자기주의존재를 적용함으로써 TDNN의 국소 맥락 모델링보다 화자 수준의 특징을 더 잘 포착할 수 있다.
• s-벡터는 다양한 테스트 조건에서도 강력한 일반화 능력을 보이며, 실제 화자 확인 작업에서의 강인함을 시사한다.
• 제안된 방법은 주의 기반 아키텍처를 사용한 텍스트 독립적 화자 확인 분야에서 새로운 최고 성능를 수립한다.