[논문 리뷰] Multi-stream Convolutional Neural Network with Frequency Selection for Robust Speaker Verification

Wei Yao, Chen Shen외 2명|arXiv (Cornell University)|2020. 12. 21.

Speech Recognition and Synthesis참고 문헌 52인용 수 4

한 줄 요약

이 논문은 음향 스펙트럼의 서로 다른 부분 대역을 처리하는 각각의 스트림을 갖춘 다중 스트림 합성곱 신경망(CNN)을 제안하며, 이는 시간적 임bedding의 다양성을 향상시켜 강인한 화자 확인 성능을 달성한다. VoxCeleb 데이터셋에서 단일 스트림 기반 모델 대비 최소 결정 비용 함수(minDCF)에 20.53%의 상대적 향상을 달성하였으며, 이는 부분 주파수 학습이 강인성과 성능 향상에 기여함을 시사한다.

ABSTRACT

Speaker verification aims to verify whether an input speech corresponds to the claimed speaker, and conventionally, this kind of system is deployed based on single-stream scenario, wherein the feature extractor operates in full frequency range. In this paper, we hypothesize that machine can learn enough knowledge to do classification task when listening to partial frequency range instead of full frequency range, which is so called frequency selection technique, and further propose a novel framework of multi-stream Convolutional Neural Network (CNN) with this technique for speaker verification tasks. The proposed framework accommodates diverse temporal embeddings generated from multiple streams to enhance the robustness of acoustic modeling. For the diversity of temporal embeddings, we consider feature augmentation with frequency selection, which is to manually segment the full-band of frequency into several sub-bands, and the feature extractor of each stream can select which sub-bands to use as target frequency domain. Different from conventional single-stream solution wherein each utterance would only be processed for one time, in this framework, there are multiple streams processing it in parallel. The input utterance for each stream is pre-processed by a frequency selector within specified frequency range, and post-processed by mean normalization. The normalized temporal embeddings of each stream will flow into a pooling layer to generate fused embeddings. We conduct extensive experiments on VoxCeleb dataset, and the experimental results demonstrate that multi-stream CNN significantly outperforms single-stream baseline with 20.53 % of relative improvement in minimum Decision Cost Function (minDCF).

연구 동기 및 목표

• 화자 확인에서 전체 대역 특징 대신 부분 주파수 대역을 사용할 경우 신경망이 유사하거나 더 높은 성능을 달성할 수 있는지 조사하는 것.
• 선택된 주파수 대역의 다중 스트림 처리를 통해 시간적 임bedding의 다양성을 도입함으로써 음향 모델링의 강인성을 향상시키는 것.
• 계산 비용을 줄이면서도 높은 성능을 유지할 수 있는 실용적인 이중 단계 학습 전략을 개발하는 것.
• 딥 화자 임bedding 학습에서 주파수 선택이 데이터 증강 및 모델 정규화 기법으로서의 효과성을 검증하는 것.

제안 방법

• 프레임워크는 각각 다른 주파수 대역을 처리하는 병렬 CNN 스트림을 사용하며, 전체 대역 입력을 대체하기 위해 주파수 선택기로 대역을 선택한다.
• 각 스트림은 풀링 전에 정규화된 시간적 임bedding에 대해 평균 정규화를 적용하여 융합된 임bedding를 생성한다.
• 주파수 선택기는 전체 대역 스펙트럼을 수동으로 대역으로 분할하며(예: 저주파, 고주파), 각 스트림은 할당된 특정 대역에만 사용된다.
• 이중 단계 학습 절차를 사용한다: 첫 번째 단계에서는 각 스트림을 독립적으로 학습하고, 두 번째 단계에서는 스트림을 융합할 최적의 가중치를 탐색한다.
• 모델은 PyTorch를 사용하여 VoxCeleb 데이터셋에서 학습 및 평가되며, minDCF 및 EER과 같은 표준 지표를 사용한다.
• 주파수 도메인의 다양성을 활용하여 소음이 많거나 제약 조건이 없는 환경에서도 강인성을 향상시키기 위해 설계되었다.

실험 결과

연구 질문

• RQ1 전체 주파수 대역 대신 부분 주파수 대역에서 학습된 신경망이 경쟁적인 성능을 달성할 수 있는가?
• RQ2 주파수로 선택된 대역을 갖는 다중 스트림 처리가 화자 확인에서 시간적 임bedding의 다양성과 강인성을 향상시키는가?
• RQ3 기존의 단일 스트림 전체 대역 학습 방식과 비교할 때 주파수 선택 기법은 minDCF 및 EER 성능에서 어떤가?
• RQ4 이중 단계 학습 전략은 성능 저하 없이 다수의 주파수 스트림 모델을 효과적으로 융합할 수 있는가?

주요 결과

• 제안된 다중 스트림 CNN와 주파수 선택 기법은 단일 스트림 기반 모델 대비 최소 결정 비용 함수(minDCF)에 20.53%의 상대적 향상을 달성하였다.
• 기준 모델 대비 EER이 16.5% 상대적으로 감소하였으며, 최고 성능 모델은 500 에포크에서 1.781%의 EER을 기록하였다.
• 세 개의 전체 대역 모델을 융합한 MS-1 앙상블 모델는 단일 스트림 기반 모델 대비 약간의 성능 저하를 보였으며, 이는 단순 앙상블이 주파수 인식 다중 스트림 학습보다 효과적이지 않음을 시사한다.
• 부분 대역 특징으로 학습된 모델(SS-2: 저주파, SS-3: 고주파)은 다른 초기화 방식을 가진 전체 대역 모델보다 더 우수한 일반화 성능을 보였으며, 이는 대역별 학습이 유익함을 시사한다.
• 제안된 방법의 상대적 향상은 모든 학습 에포크에서 16% 이상으로 일관되게 유지되었으며, 안정적이고 뚜렷한 성능 향상을 보였다.
• 이중 단계 학습 전략은 최적의 융합 가중치를 통해 스트림을 효과적으로 융합하여 종단 간 전체 학습의 계산 부담을 피할 수 있었다.