[논문 리뷰] Improving Noise Robustness In Speaker Identification Using A Two-Stage Attention Model

Yanpei Shi, Qiang Huang외 1명|arXiv (Cornell University)|2019. 09. 24.

Speech Recognition and Synthesis참고 문헌 37인용 수 4

한 줄 요약

이 논문은 잡음 환경에서의 화자 인식 정확도를 향상시키기 위해 주파수 영역과 시간 영역에 순차적으로 주의를 부여하는 이단계 주의 메커니즘을 제안한다. 먼저 주파수 도메인에서 특징을 처리하고 나서 시간 도메인에서 처리함으로써, X-vector 및 ResNet-34와 같은 강력한 기준 모델들보다 다양한 잡음 유형과 신호대잡음비(SNR) 수준에서 뛰어난 성능을 기록하며, 0 dB SNR에서 배블 노이즈 조건 하에서 VoxCeleb1에서 최대 92.0%의 인식 정확도와 4.81%의 EER을 달성한다.

ABSTRACT

While the use of deep neural networks has significantly boosted speaker recognition performance, it is still challenging to separate speakers in poor acoustic environments. To improve robustness of speaker recognition system performance in noise, a novel two-stage attention mechanism which can be used in existing architectures such as Time Delay Neural Networks (TDNNs) and Convolutional Neural Networks (CNNs) is proposed. Noise is known to often mask important information in both time and frequency domain. The proposed mechanism allows the models to concentrate on reliable time/frequency components of the signal. The proposed approach is evaluated using the Voxceleb1 dataset, which aims at assessment of speaker recognition in real world situations. In addition three types of noise at different signal-noise-ratios (SNRs) were added for this work. The proposed mechanism is compared with three strong baselines: X-vectors, Attentive X-vector, and Resnet-34. Results on both identification and verification tasks show that the two-stage attention mechanism consistently improves upon these for all noise conditions.

연구 동기 및 목표

• 잡음 환경에서 저하되는 화자 인식 성능의 과제를 해결한다.
• 실제 환경의 잡음 조건에서 기존 딥 러닝 화자 인식 모델들(예: TDNN, CNN)의 내성적 내성 강화를 도모한다.
• 잡음 있는 음성 특징에서 신뢰할 수 있는 시간 및 주파수 성분을 선택적으로 강조하는 이단계 주의 메커니즘을 설계한다.
• 주의 순서(주파수 우선 대비 시간 우선)와 병렬 대비 연쇄 구조 설정이 모델 성능에 미치는 영향을 조사한다.
• 여러 잡음 유형과 SNR 수준에서 강력한 기준 모델들에 비해 일관된 성능 향상을 입증한다.

제안 방법

• TDNN 또는 CNN 특징의 주파수 차원을 대상으로 자기 주의(self-attention)를 사용하여 주파수 주의 메커니즘을 먼저 적용한다.
• 학습된 주의 레이어를 사용하여 프레임 단위의 가중치를 계산하는 시간 주의 메커니즘을 이어받는다.
• 주파수 우선, 그 다음 시간 순서로 처리하는 연쇄 방식을 통해 다단계 필터링 과정을 모방한다.
• 연쇄 설정과 병렬 주의 설정 간의 성능을 비교한다. 여기서 병렬 설정은 두 주의 모듈이 독립적으로 작동한다.
• 병렬 설정에서 주파수 주의와 시간 주의의 기여도를 조절하기 위해 학습 가능한 가중치 파rameter γ를 사용한다.
• AM-Softmax 손실과 함께 표준 아키텍처인 TDNN 및 ResNet-34에 이중 단계 주의 모듈을 통합하여 엔드 투 엔드 학습을 유지한다.

실험 결과

연구 질문

• RQ1 단일 주의 또는 기준 모델 대비 이중 단계 주의 메커니즘이 잡음 환경에서 화자 인식의 내성 강화에 기여하는가?
• RQ2 주파수 우선(F-T)인지 시간 우선(T-F)인지에 따라 다양한 잡음 조건에서 성능이 어떻게 달라지는가?
• RQ3 병렬 주의 설정과 연쇄 설정 간의 노이즈 내성 강화 및 성능 측면에서의 비교 결과는 어떠한가?
• RQ4 주파수 주의 구성 요소가 시간 주의 구성 요소보다 잡음 조건에서 얼마나 더 크게 성능 향상에 기여하는가?
• RQ5 제안된 주의 메커니즘은 기존의 화자 인식 아키텍처인 TDNN 및 ResNet-34에 효과적으로 통합될 수 있는가?

주요 결과

• 이중 단계 주의 모델은 모든 잡음 유형과 SNR 수준에서 인식 및 검증 작업 전반에서 X-vector, Attentive X-vector, ResNet-34를 모두 초월하는 일관된 성능 향상을 보였다.
• 0 dB SNR에서 배블 노이즈 조건 하에서 TDNN 모델 기준으로 F-T(주파수 우선) 설정이 기준 모델 대비 인식 정확도와 EER에서 각각 3%의 상대적 향상을 달성했다.
• TDNN 기반 모델에서 F-T 설정은 노이즈 조건 하에서 원본 VoxCeleb1 테스트 세트에서 91.1%의 인식 정확도와 4.91%의 EER을 기록했다.
• CNN 기반 모델에서는 동일 조건에서 92.0%의 인식 정확도와 4.81%의 EER을 달성하여 뛰어난 내성 강화를 입증했다.
• F-T 설정은 T-F 및 병렬(Para) 설정을 모두 능가했으며, TDNN의 경우 γ = 0.6, CNN의 경우 γ = 0.8일 때 가장 높은 성능가를 기록했다.
• 결과는 주파수 주의가 특히 고잡음 환경에서 시간 주의보다 더 크게 성능 향상에 기여한다는 것을 시사한다.