[논문 리뷰] Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification

Sobhan Soleymani, Ali Dabouei외 4명|arXiv (Cornell University)|2018. 07. 31.

Speech Recognition and Synthesis참고 문헌 17인용 수 5

한 줄 요약

이 논문은 i-vector/PLDA 및 Nagrani 등(2017)의 깊이 신경망과 같은 최신 기법들을 능가하는 성능을 보이며, FBI Voice Collection 2016 데이터셋에서 13.11%의 EER을 기록한, 장치 간, 텍스트 독립적 화자 확인을 위한 음성 강조형 시아모닉 컨volutional 신경망을 제안한다. 이 모델은 CNN-MLP 융합을 통해 메르 주파수 스펙트로그램과 음성 강조 특징(진동수, 색조 변화, 기본 주파수)을 동시에 학습한다.

ABSTRACT

In this paper a novel cross-device text-independent speaker verification architecture is proposed. Majority of the state-of-the-art deep architectures that are used for speaker verification tasks consider Mel-frequency cepstral coefficients. In contrast, our proposed Siamese convolutional neural network architecture uses Mel-frequency spectrogram coefficients to benefit from the dependency of the adjacent spectro-temporal features. Moreover, although spectro-temporal features have proved to be highly reliable in speaker verification models, they only represent some aspects of short-term acoustic level traits of the speaker's voice. However, the human voice consists of several linguistic levels such as acoustic, lexicon, prosody, and phonetics, that can be utilized in speaker verification models. To compensate for these inherited shortcomings in spectro-temporal features, we propose to enhance the proposed Siamese convolutional neural network architecture by deploying a multilayer perceptron network to incorporate the prosodic, jitter, and shimmer features. The proposed end-to-end verification architecture performs feature extraction and verification simultaneously. This proposed architecture displays significant improvement over classical signal processing approaches and deep algorithms for forensic cross-device speaker verification.

연구 동기 및 목표

• 화자 확인에서 장기적인 음성 강조 및 언어적 특징을 포괄하지 못하는 스펙트로그램-시간 특징의 한계를 해결한다.
• 기기 및 채널 불일치 상황에서도 장치 간, 텍스트 독립적 화자 확인 성능을 향상시킨다.
• 수작업 특징 공학 없이 스펙트로그램과 음성 강조 특징을 동시에 추출하고 융합하는 종단 간 딥 러닝 아키텍처를 개발한다.
• 등록 및 검증 단계를 별도로 나누지 않고, 대비 손실을 사용하는 시아모닉 네트워크를 통해 직접 쌍별 비교를 수행한다.

제안 방법

• 근접한 스펙트로그램-시간 특징 간 시간적 상관관계를 유지하기 위해 MFCC 대신 메르 주파수 스펙트로그램 계수(MFSC)를 사용한다.
• 기본 주파수, 진동수, 색조 변화 등의 음성 강조 특징을 추출하고 표현하기 위해 다층 퍼셉트론(MLP)을 구현한다.
• CNN 기반의 스펙트로그램 표현과 MLP 기반의 음성 강조 표현을 공유된 시아모닉 아키텍처에 융합한다.
• 내부 클래스 간 거리 최소화와 외부 클래스 간 거리 최대화를 위해 마진이 10인 대비 손실을 사용하여 종단 간 모델을 훈련한다.
• 시험 단계에서는 다수의 짧은 발화 쌍 간 평균 유클리드 거리로 상호 발화 유사도를 계산하며, 평균과 표준편차 필터링을 통한 이질치 제거를 적용한다.
• CNN 및 음성 강조 네트워크의 점수 수준 융합을 적용하고, 채널 독립 및 채널 종속 설정 모두에서 평가한다.

실험 결과

연구 질문

• RQ1 딥 시아모닉 네트워크에서 스펙트로그램-시간 특징과 함께 진동수, 색조 변화, F0 등의 음성 강조 특징을 융합할 경우 화자 확인 성능이 향상되는가?
• RQ2 MFCC 대신 메르 주파수 스펙트로그램을 사용할 경우 장치 간, 텍스트 독립적 화자 확인에서 성능 향상이 이루어지는가?
• RQ3 종단 간 시아모닉 CNN-MLP 아키텍처가 전통적인 i-vector/PLDA 및 최신 딥 러닝 기반 기준보다 우수한 성능을 내는가?
• RQ4 채널 종속 및 채널 독립 설정에서 다양한 기기 유형(MIC, DVR, 휴대폰) 간 성능은 어떻게 변화하는가?

주요 결과

• 제안된 결합 네트워크는 FBI Voice Collection 2016 데이터셋에서 13.11%의 EER을 기록하여, MFSC를 사용한 i-vector/PLDA(15.79% EER) 및 MFCC를 사용한 i-vector/PLDA(15.26% EER)를 크게 앞서며 성능을 뛰어넘었다.
• 모델은 AUC 0.9358을 달성하여, 다음으로 우수한 성능을 보인 방법(Nagrani 등, 2017)의 AUC 0.9215를 초월했다.
• 채널 종속 설정에서 가장 높은 성능은 마이크로폰-마이크로폰 검증에서 기록되었으며(0.0712 EER), 특정 기기 특성에 대한 적응성이 향상됨을 시사한다.
• 음성 강조 특징 전용 네트워크의 성능은 열악했으며(16.73% EER), 이는 음성 강조 특징만으로는 부족하다는 것을 확인하지만, CNN 특징과의 융합이 성능 향상에 기여함을 입증한다.
• CNN 및 음성 강조 네트워크의 점수 수준 융합은 15.78% EER을 기록하여, 상호 보완적인 특징 표현을 융합함으로써 성능의 안정성이 향상됨을 보여준다.
• 저품질 기기(예: 휴대폰-휴대폰, 13.16% EER)에서 모델의 성능이 가장 도전적으로 나타나, 실제 법의학적 응용에서 기기별 적응의 중요성을 강조한다.