[논문 리뷰] Speaker Anonymization with Distribution-Preserving X-Vector Generation for the VoicePrivacy Challenge 2020

Henry Turner, Giulio Lovisotto외 1명|arXiv (Cornell University)|2020. 10. 26.

Speech Recognition and Synthesis참고 문헌 14인용 수 15

한 줄 요약

이 논문은 음성 익명화를 위한 분포 유지 X-벡터 생성 방법을 제안하며, 인구 데이터에서 X-벡터 공간의 통계적 성질을 학습하고 생성 모델을 사용하여 현실적이고 상이한 가짜 X-벡터를 샘플링함으로써 화자 다양성을 향상시킨다. 이 방법은 익명화된 음성 간 유사도를 감소시켜 종단 간 평가에서 남성의 경우 최대 19.4% 이상, 여성의 경우 11.1% 이상 EER를 향상시키며, 익명화 과정에서 화자 풀이 필요 없이 기준선을 능가한다.

ABSTRACT

In this paper, we present a Distribution-Preserving Voice Anonymization technique, as our submission to the VoicePrivacy Challenge 2020. We observe that the challenge baseline system generates fake X-vectors which are very similar to each other, significantly more so than those extracted from organic speakers. This difference arises from averaging many X-vectors from a pool of speakers in the anonymization process, causing a loss of information. We propose a new method to generate fake X-vectors which overcomes these limitations by preserving the distributional properties of X-vectors and their intra-similarity. We use population data to learn the properties of the X-vector space, before fitting a generative model which we use to sample fake X-vectors. We show how this approach generates X-vectors that more closely follow the expected intra-similarity distribution of organic speaker X-vectors. Our method can be easily integrated with others as the anonymization component of the system and removes the need to distribute a pool of speakers to use during the anonymization. Our approach leads to an increase in EER of up to $19.4\%$ in males and $11.1\%$ in females in scenarios where enrollment and trial utterances are anonymized versus the baseline solution, demonstrating the diversity of our generated voices.

연구 동기 및 목표

• VoicePrivacy Challenge 2020 기준선이 화자 풀을 통해 평균을 내면서 매우 유사한 가짜 X-벡터를 생성함에 따라 익명화된 음성의 다양성이 부족한 문제를 해결하기 위해.
• 익명화 과정에서 공유된 화자 풀에 의존하지 않고 진짜 X-벡터의 자연스러운 내부 유사도 분포를 유지하는 일반화 가능한 익명화 방법을 개발하기 위해.
• 익명화된 음성이 상호 구별 가능하고 원본 화자와 연결 불가능하도록 하여 음성 프라이버시를 향상시키기 위해.
• VoicePrivacy Challenge 2020의 위협 모델에 기반해 여러 데이터셋과 익명화 시나리오에서 EER 및 C_llr_min을 중심으로 평가하기 위해.
• 강제로 상이성을 확보하는 것이 원본 화자와 너무 유사한 익명화된 음성을 생성하는 것을 방지하는 데 어떤 영향을 미치는지 조사하기 위해.

제안 방법

• 해당 방법은 실재 화자 임bedding의 집단에서 X-벡터 공간의 분포적 성질을 학습하여 상호 및 내부 유사도 통계를 캡처한다.
• X-벡터 공간의 감소된 차원 표현에 기반해 생성 모델을 훈련시켜 실제 화자 임베딩의 자연스러운 분포를 반영하는 새로운 현실적인 가짜 X-벡터를 샘플링한다.
• 생성 모델을 통해 원본 화자 임베딩 풀에 접근할 필요 없이 익명화된 X-벡터를 샘플링할 수 있어 프라이버시 泄露 위험을 완화한다.
• 강제 상이성(FD)은 원본과 익명화된 X-벡터 간 최소 유사도 임계값(0.8)을 설정하여 원본 음성에 대한 과도한 근접성 방지를 위해 적용된다.
• 익명화된 X-벡터는 보코더를 통해 음성 웨이브폼을 합성하며, 언어적 및 억양적 내용은 유지하면서 화자 정체성을 은폐한다.
• 표준 평가 지표인 등가 오류율(EER) 및 최소 C_llr를 사용해 기준선 시스템과 비교하여 LibriSpeech 및 VCTK 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 기준선 익명화 방법은 자연스럽지 않은 유사도를 가진 가짜 X-벡터를 생성하여 익명화된 음성의 다양성이 감소하는가?
• RQ2 인구 X-벡터 통계에 기반한 생성 모델이 진짜 화자들의 자연스러운 내부 유사도 분포를 더 잘 유지할 수 있는가?
• RQ3 등록 및 시험 음성 모두를 익명화할 경우, 제안된 방법이 EER 및 C_llr_min 측면에서 익명화 성능을 향상시키는가?
• RQ4 강제 상이성이 원본 화자와 너무 유사한 익명화된 음성을 생성할 위험을 어느 정도 감소시키는가?
• RQ5 남성과 여성 간 익명화 향상 성능 격차가 더 큰 이유는 무엇이며, 이는 모델 편향 또는 데이터 불균형 때문인가?

주요 결과

• 기준선 방법은 실재 X-벡터보다 유사도가 현저히 높은 가짜 X-벡터를 생성하여 화자 풀을 통해 평균을 내면서 다양성 손실이 발생함을 시사한다.
• 등록 및 시험 음성 모두를 익명화할 경우 제안된 방법은 남성의 경우 최대 19.4% 이상, 여성의 경우 11.1% 이상 EER를 향상시켜 화자 연결 불가능성이 향상됨을 입증한다.
• 원본 등록 및 익명화된 시험 음성의 경우, 여성의 EER는 44.2–47.3% 수준, 남성의 경우 45.1–48.9% 수준에 도달하여 완전한 익명화의 기준인 50%에 근접한다.
• 강제 상이성 변형은 시험 음성 전용 익명화에서는 약간 더 뛰어난 성능을 보였지만, 복합 익명화에서는 혼합된 결과를 보였으며, 이는 원본 음성에 대한 과도한 피팅을 방지하는 데 도움이 됨을 시사한다.
• 단어 오류율(WER)은 기준선 대비 약간 악화되었으며, VCTK 데이터셋에서 최대 1.81% 증가했지만, 음성 품질에 미치는 영향은 최소한이었다.
• 공유된 화자 풀이 필요 없이 기준선과 비교해 유사하거나 더 뛰어난 성능을 달성함으로써 익명화 과정에서의 프라이버시 리스크를 감소시켰다.