[논문 리뷰] Frame-level speaker embeddings for text-independent speaker recognition and analysis of end-to-end model

Suwon Shon, Hao Tang외 1명|arXiv (Cornell University)|2018. 09. 12.

Speech Recognition and Synthesis참고 문헌 11인용 수 5

한 줄 요약

이 논문은 텍스트 독립적 상황에서의 강건성을 향상시키기 위해 선형 활성화를 사용하여 프레임 수준의 화자 임베딩을 추출하는 1D-CNN 기반 엔드 투 엔드 화자 인식 모델을 제안한다. 이 모델은 VoxCeleb1에서 x-vector를 능가하며, EER: 6.2%를 기록한다. 또한 더 깊은 네트워크 레이어에서는 개별 모음이나 파형을 넘어서 넓은 음소 유형(예: 차음음/소리음)을 기반으로 화자 신원을 인코딩하는 것으로 밝혀졌으며, 프레임 수준의 코사인 유사도는 서로 다른 음소 간에도 화자 특화 패턴을 보여준다.

ABSTRACT

In this paper, we propose a Convolutional Neural Network (CNN) based speaker recognition model for extracting robust speaker embeddings. The embedding can be extracted efficiently with linear activation in the embedding layer. To understand how the speaker recognition model operates with text-independent input, we modify the structure to extract frame-level speaker embeddings from each hidden layer. We feed utterances from the TIMIT dataset to the trained network and use several proxy tasks to study the networks ability to represent speech input and differentiate voice identity. We found that the networks are better at discriminating broad phonetic classes than individual phonemes. In particular, frame-level embeddings that belong to the same phonetic classes are similar (based on cosine distance) for the same speaker. The frame level representation also allows us to analyze the networks at the frame level, and has the potential for other analyses to improve speaker recognition.

연구 동기 및 목표

• 텍스트 독립적 발화 간에 잘 일반화되는 강건한 엔드 투 엔드 화자 인식 모델을 개발하는 것.
• 음소 내용에 의존하지 않고 깊이 있는 신경망이 화자 신원을 어떻게 인코딩하는지 이해하는 것.
• 다양한 네트워크 레이어에서 프레임 수준의 화자 임베딩의 표현 행동을 분석하는 것.
• 화자 인식에 있어서 음소 유형 수준의 표현이 개별 모음 표현보다 더 구별력이 있는지 조사하는 것.
• 다양한 음소 내용 간에도 프레임 수준의 임베딩이 화자 특화 특성을 얼마나 잘 포착하는지 평가하는 것.

제안 방법

• 40차원의 MFCC를 처리하기 위해 4개의 컨볼루션 레이어(필터: 40×5, 1000×7, 1000×1, 1000×1)와 2개의 완전 연결 레이어(1500, 600)를 갖는 1D-CNN 아키텍처를 사용한다.
• 최종 임베딩 레이어에 선형 활성화를 적용하여 구분 정보를 유지하고 강건성을 향상시킨다.
• 시간 해상도를 유지하기 위해 네트워크 구조를 수정하여 각 은닉 레이어에서 프레임 수준의 임베딩을 추출한다.
• 최종 컨볼루션 레이어 이후 통계 풀링을 적용한 후, 후속 확인을 위해 LDA와 PLDA를 사용한다.
• SGD를 사용하고 학습률 감소 및 데이터 증강을 적용하여 VoxCeleb1(1,211명의 화자)에서 모델을 훈련시킨다.
• 프레임 수준 표현을 평가하기 위해 프oxy 태스크(모음 인식, 넓은 유형 분류)와 코사인 유사도 분석을 사용한다.

실험 결과

연구 질문

• RQ1 네트워크 레이어 간에 프레임 수준의 화자 임베딩가 화자 신원을 표현하는 데 얼마나 다른가?
• RQ2 텍스트 독립적 상황에서 화자 인식 모델이 개별 모음 신원보다 음소 유형의 구분에 얼마나 의존하는가?
• RQ3 어느 음소 유형 또는 특정 모음이 프레임 수준에서 화자 구별에 가장 기여하는가?
• RQ4 다른 발화 간에 프레임 수준의 임베딩 유사도가 화자 신원과 얼마나 관련이 있는가?
• RQ5 t-SNE와 코사인 유사도 행렬을 사용하여 네트워크의 음소 내용 표현을 의미적으로 시각화하고 해석할 수 있는가?

주요 결과

• 제안된 모델은 동일한 평가 프로토콜 하에 VoxCeleb1 테스트 세트에서 EER 6.2%를 기록하여, x-vector를 능가한다.
• 더 깊은 레이어(예: 레이어 6)에서 추출된 프레임 수준의 임베딩은 낮은 레이어보다 화자 구별 능력이著격히 뛰어나, 화자 신원이 점진적으로 추상화됨을 시사한다.
• 프레임 수준의 임베딩 간 코사인 유사도는 같은 화자 간과 같은 넓은 음소 유형에 속하는 음소(예: /s/와 /z/) 간에 가장 높으며, 음소가 다를지라도 유사도가 높다.
• 깊은 레이어에서 모델의 표현은 점차 차음음과 소리음 카테고리로 수렴함을 보여, 화자 신원이 모음 수준을 넘어서 더 높은 수준의 음소 추상화에 기반한다는 것을 시사한다.
• 모음과 비음은 가장 높은 코사인 유사도 점수와 가장 자주 연관되어 있어, 화자 구별에 중요한 역할을 한다는 것을 시사한다.
• 유사도 행렬은 차음음(예: 산소음, 정지음)이 서로 다른 화자 간에도 상대적으로 높은 유사도를 보이며, 임베딩 공간에서 공통적인 음향적 특징을 공유하고 있음을 나타낸다.