[논문 리뷰] The SYSU System for the Interspeech 2015 Automatic Speaker Verification Spoofing and Countermeasures Challenge

Shitao Weng, Shushan Chen외 5명|arXiv (Cornell University)|2015. 07. 24.

Speech Recognition and Synthesis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 음성 변환 및 음성 합성과 같은 스피커 변조 공격에 취약한 자동 스피커 인증을 위한 스포핑 탐지 다중 특징, 점수 수준 융합 시스템을 제안한다. MFCC, MGDCC, 음소 후행 확률(PPP) 특징에서 유도된 i-vector 표현과 OpenSMILE 프로소딕 특징을 융합한다. 다항식 커널 SVM 및 일항 PLDA 백엔드를 사용하여 기존 및 알려지지 않은 스포핑 공격에 대해 뛰어난 내성 확보를 달성하며, 개발 세트에서 0.29% EER, 테스트 세트에서 0.38% EER의 성능을 기록한다.

ABSTRACT

Many existing speaker verification systems are reported to be vulnerable against different spoofing attacks, for example speaker-adapted speech synthesis, voice conversion, play back, etc. In order to detect these spoofed speech signals as a countermeasure, we propose a score level fusion approach with several different i-vector subsystems. We show that the acoustic level Mel-frequency cepstral coefficients (MFCC) features, the phase level modified group delay cepstral coefficients (MGDCC) and the phonetic level phoneme posterior probability (PPP) tandem features are effective for the countermeasure. Furthermore, feature level fusion of these features before i-vector modeling also enhance the performance. A polynomial kernel support vector machine is adopted as the supervised classifier. In order to enhance the generalizability of the countermeasure, we also adopted the cosine similarity and PLDA scoring as one-class classifications methods. By combining the proposed i-vector subsystems with the OpenSMILE baseline which covers the acoustic and prosodic information further improves the final performance. The proposed fusion system achieves 0.29% and 3.26% EER on the development and test set of the database provided by the INTERSPEECH 2015 automatic speaker verification spoofing and countermeasures challenge.

연구 동기 및 목표

• 스피커 변조 공격(예: 음성 변환, 음성 합성 등)에 취약한 자동 스피커 인증을 위한 강건한 스포핑 방지 대응 시스템 개발.
• 음향, 위상, 음소 특징을 i-vector 수준에서 융합함으로써 스포핑 탐지 성능 향상 여부 조사.
• 특히 지도 학습 SVM 및 일항 분류 방법(예: 코사인 유사도, PLDA)을 포함한 다양한 백엔드 분류기 성능 평가 — 기존 및 알려지지 않은 스포핑 조건 하에서.
• 다양한 i-vector 서브시스템 및 OpenSMILE 프로소딕 특징을 점수 수준에서 융합하여 일반화 능력 향상.

제안 방법

• MFCC(음향), MGDCC(위상 도메인), PPP(음소 터널), 및 이들의 특징 수준 조합을 대상으로 i-vector 모델링을 수행한다.
• MFCC와 PPP, MGDCC와 PPP의 특징 수준 융합을 i-vector 추출 이전에 적용하여 분류 성능 향상.
• 지도 학습 분류기로 다항식 커널 SVM(LIBPOLY)를 사용하며, 모든 특징에 대해 최소/최대 정규화를 적용한다.
• 미리 알려지지 않은 스포핑 공격에 대한 내성 확보를 평가하기 위해 코사인 유사도 및 단순화된 PLDA를 포함한 일항 분류 방법을 평가한다.
• 개발 세트에서 최적화된 융합 가중치를 사용하여 점수 수준 융합을 통해 다수의 서브시스템 출력을 융합한다.
• OpenSMILE를 사용해 추가적인 음향 및 프로소딕 특징을 추출하고, i-vector 점수와 융합하여 전체 성능 향상.

실험 결과

연구 질문

• RQ1 음향, 위상, 음소 i-vector 특징을 융합하면 단일 특징 기반 시스템 대비 스포핑 탐지 성능 향상이 가능한가?
• RQ2 다양한 i-vector 서브시스템 및 OpenSMILE 특징의 점수 수준 융합은 시스템의 내성 및 일반화 능력에 어떤 영향을 미치는가?
• RQ3 다항식 커널을 가진 지도 학습 SVM이 코사인 유사도 및 PLDA와 같은 일항 분류 방법보다 기존 스포핑 공격 탐지에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 학습 중에 관찰되지 않은 알려지지 않은 스포핑 공격에 대해 다양한 백엔드 분류기의 성능은 어떻게 나타나는가?

주요 결과

• MFCC-PPP i-vector 서브시스템이 가장 뛰어난 개별 성능을 보이며, 개발 세트에서 1.06% EER 기록 — 기준 MFCC i-vector(6.63% EER)보다 유의미하게 뛰어남.
• 제안된 점수 수준 융합 시스템은 개발 세트에서 0.29% EER 기록 — 다수의 i-vector 및 OpenSMILE 서브시스템 융합의 효과를 입증.
• 다항식 커널 SVM(LIBPOLY)가 개발 세트에서 가장 낮은 EER 0.29% 기록 — 선형 SVM 및 기타 백엔드 방법보다 뛰어남.
• 단순화된 PLDA 일항 분류기는 알려지지 않은 스포핑 공격에 대해 뛰어난 내성 확보를 보이며, 훈련 중에 관찰되지 않은 스포핑 유형(조건 3 및 4)에 대해 각각 0.20% 및 0.20% EER 기록.
• 융합 시스템은 모든 기존 공격에 대해 테스트 세트에서 0.38% EER 기록 — 알려지지 않은 공격에 대해서는 6.15% EER 기록 — S3 및 S4(알려지지 않은 합성 기반 스포핑)에서 가장 높은 성능 기록.
• MFCC와 PPP의 특징 수준 융합은 MFCC 단독 대비 성능 향상 — 음소 정보가 스포핑 탐지에 기여함을 시사.