[논문 리뷰] Attention Mechanism in Speaker Recognition: What Does It Learn in Deep Speaker Embedding?

Qiongqiong Wang, Koji Okabe외 3명|arXiv (Cornell University)|2018. 09. 25.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 딥 스피커 임베딩 네트워크 내에서 훈련된 어텐션 메커니즘이 다른 스피커 임베딩 시스템, 예를 들어 i-벡터 및 비어텐션 DNN에 대해 분리되어 적용될 수 있는지 조사한다. 어텐션 가중치가 한 네트워크에서 학습된 후에도 효과적으로 일반화됨을 입증하며, i-벡터 시스템에 적용했을 때 EER이 9.0% 감소하고 min C_primary가 3.8% 감소한다. 또한 소프트 음성 활성도 검출(VAD)과 조합하면 성능이 더욱 향상된다.

ABSTRACT

This paper presents an experimental study on deep speaker embedding with an attention mechanism that has been found to be a powerful representation learning technique in speaker recognition. In this framework, an attention model works as a frame selector that computes an attention weight for each frame-level feature vector, in accord with which an utterancelevel representation is produced at the pooling layer in a speaker embedding network. In general, an attention model is trained together with the speaker embedding network on a single objective function, and thus those two components are tightly bound to one another. In this paper, we consider the possibility that the attention model might be decoupled from its parent network and assist other speaker embedding networks and even conventional i-vector extractors. This possibility is demonstrated through a series of experiments on a NIST Speaker Recognition Evaluation (SRE) task, with 9.0% EER reduction and 3.8% min_Cprimary reduction when the attention weights are applied to i-vector extraction. Another experiment shows that DNN-based soft voice activity detection (VAD) can be effectively combined with the attention mechanism to yield further reduction of minCprimary by 6.6% and 1.6% in deep speaker embedding and i-vector systems, respectively.

연구 동기 및 목표

• 딥 스피커 임베딩 네트워크 내에서 훈련된 어텐션 메커니즘이 다른 스피커 임베딩 시스템에 대해 분리되고 재사용될 수 있는지 조사하기.
• i-벡터 및 비어텐션 DNN와 같은 다양한 특징 표현 간 어テン션 가중치의 일반화 능력을 평가하기.
• 어텐션 메커니즘과 소프트 음성 활성도 검출(VAD) 간의 상호보완적 작용을 탐색하여 스피커 인식 성능을 향상시키기.
• 어텐션 가중치가 특정 프레임 수준 특징에 강하게 결합된 것이 아니라 일반적인 프레임 중요도를 나타내는지 여부를 규명하기.

제안 방법

• 어텐션 가중치를 프레임 수준 특징 벡터당 계산하고, 발화 수준 표현을 계산하기 위해 가중 평균을 사용하는 딥 스피커 임베딩 네트워크 내에서 어텐션 메커니즘을 훈련한다.
• 사전 훈련된 어텐션 모델을 부모 네트워크에서 분리하고, 비어텐션 DNN 또는 i-벡터 추출기의 프레임 수준 특징에 어텐션 가중치를 적용한다.
• 풀링 레이어에서 어텐션 가중치를 사용하여 프레임 수준 특징의 가중 평균을 계산하고, 표준 통계 풀링 또는 i-벡터 추출을 어텐션 가중 평균 집계로 대체한다.
• 어텐션 가중치 αₜ와 음성 후행도 qₜ를 곱하여 프레임 선택을 향상시키기 위한 통합 가중치 요소를 구성함으로써 소프트 VAD와 통합한다.
• SRE04-10, Switchboard, Fisher 데이터에서 훈련된 동일한 어텐션 모델을 사용하여 도메인 외부 데이터, 즉 광둥어 및 타갈로그 발화에 대해 어텐션 가중치를 생성하여 평가한다.
• 모든 시스템에서 일반화 능력 향상과 어텐션 기반 풀링의 강건성 검증을 위해 Kaldi의 비지도 도메인 적응 기법을 사용해 PLDA를 도메인 내 및 도메인 외부 설정에서 미세조정한다.

실험 결과

연구 질문

• RQ1 딥 스피커 임베딩 네트워크에서 학습된 어텐션 가중치가 i-벡터와 같은 비어텐션 스피커 임베딩 시스템으로 효과적으로 이식될 수 있는가?
• RQ2 어텐션 메커니즘이 학습한 프레임 중요도가 부모 네트워크의 프레임 수준 특징에 특화된 것인지, 아니면 다양한 특징 추출기 간 일반화 가능한가?
• RQ3 어텐션 가중치와 소프트 음성 활성도 검출(VAD)을 조합하면 x-벡터 및 i-벡터 시스템에서 스피커 인식 성능이 더욱 향상되는가?
• RQ4 도메인 이동(예: 언어 및 채널 차이)이 어텐션 가중치의 일반화에 미치는 영향은 무엇이며, 도메인 적응이 그들의 강건성 향상에 기여하는가?

주요 결과

• 부모 네트워크에서 어텐션 메커니즘을 분리하고 비어텐션 DNN 또는 i-벡터 시스템에 적용함으로써 여전히 뚜렷한 성능 향상이 발생하며, EER은 9.0% 상대 감소하고 min C_primary는 3.8% 감소한다.
• 어떤 특징 표현 간에도 어텐션 가중치가 잘 일반화됨을 보여주며, 이는 특정 네트워크의 내부 특징에 강하게 결합된 것이 아니라 일반적인 프레임 중요도를 포착하고 있음을 시사한다.
• 어텐션 가중치와 소프트 VAD를 조합하면 성능이 더욱 향상되며, x-벡터 시스템에서는 min C_primary가 6.6% 감소하고 i-벡터 시스템에서는 1.6% 감소한다.
• 비지도 SRE’16 데이터를 활용한 도메인 적응이 모든 시스템에서 성능 향상에 크게 기여하며, 도메인 외부 시스템에서 관찰된 경향은 도메인 내부 시스템에서도 유지된다.
• 도메인 적응, 어텐션 가중치, 소프트 VAD를 모두 조합했을 때 최고의 성능을 기록하였으며, 도메인 내 설정에서 EER은 7.85%이고 min C_primary는 0.620이다.
• i-벡터 시스템에 적용했을 때조차도 DNN 기반 스피커 임베딩 모델에서 유도된 어텐션 가중치가 EER을 9.0% 감소시키고 min C_primary를 3.8% 감소시키며, 강력한 일반화 능력을 입증한다.