[논문 리뷰] Speaker Anonymization Using X-vector and Neural Waveform Models

Fuming Fang, Xin Wang외 5명|arXiv (Cornell University)|2019. 05. 30.

Speech Recognition and Synthesis참고 문헌 21인용 수 8

한 줄 요약

이 논문은 x-벡터와 신경 음성파형 모델을 사용하여 언어적 내용과 화자 신원을 분리하는 화자 익명화 방법을 제안한다. 여러 무작위 화자 x-벡터를 조합하여 가짜 화자 신원을 생성하고, 언어적 내용은 파형 후보 확률도(PPG)를 사용하여 표현함으로써 화자 신원을 효과적으로 음성화하고, EER을 최대 10.8배까지 증가시키지만, 음성 품질은 유지되며 ASR 인식 정확도는 약간 떨어지는 결과를 얻는다.

ABSTRACT

The social media revolution has produced a plethora of web services to which users can easily upload and share multimedia documents. Despite the popularity and convenience of such services, the sharing of such inherently personal data, including speech data, raises obvious security and privacy concerns. In particular, a user's speech data may be acquired and used with speech synthesis systems to produce high-quality speech utterances which reflect the same user's speaker identity. These utterances may then be used to attack speaker verification systems. One solution to mitigate these concerns involves the concealing of speaker identities before the sharing of speech data. For this purpose, we present a new approach to speaker anonymization. The idea is to extract linguistic and speaker identity features from an utterance and then to use these with neural acoustic and waveform models to synthesize anonymized speech. The original speaker identity, in the form of timbre, is suppressed and replaced with that of an anonymous pseudo identity. The approach exploits state-of-the-art x-vector speaker representations. These are used to derive anonymized pseudo speaker identities through the combination of multiple, random speaker x-vectors. Experimental results show that the proposed approach is effective in concealing speaker identities. It increases the equal error rate of a speaker verification system while maintaining high quality, anonymized speech.

연구 동기 및 목표

• 음성 데이터 공유로 인한 프라이버시 위험, 특히 음성 모조 및 화자 확인 공격의 가능성을 해결하기 위해.
• 음성 품질이나 언어적 내용을 떨어뜨리지 않고도 화자 신원을 익명화하는 방법을 개발하기 위해.
• 딥러닝 컴포넌트를 활용한 유연하고 화자에 독립적인 익명화 프레임워크를 구축하기 위해.
• 객관적 지표(EER, WER)와 주관적 MOS 점수를 통해 익명화 효과를 평가하기 위해.
• 현재 언어적 특징와 화자 특징의 분리가 완벽하지 못한 점을 밝혀내고 향후 개선 방안을 제안하기 위해.

제안 방법

• 입력 음성에서 화자 신원 특징을 추출하기 위해 사전에 훈련된 x-벡터 시스템을 사용한다.
• 언어적 내용은 화자에 독립적인 ASR 시스템에서 추출한 파형 후보 확률도(PPG)로 표현한다.
• 다양한 무작위로 선택된 미리보지 않은 화자들의 x-벡터를 평균하여 익명화된 가짜 화자 신원을 생성한다.
• 신경 음성 및 파형 모델이 PPG와 평균화된 x-벡터를 사용하여 익명화된 음성을 합성한다.
• 이 방법은 분리된 표현에 기반한다: PPG는 내용을, 병합된 x-벡터는 익명화된 신원을 위해 사용한다.
• 개별 화자에 맞는 모델 적응을 피하기 위해 단일 변환 함수를 사용해 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 다양한 무작위 x-벡터로부터 유도된 학습된 가짜 화자 신원을 사용해 화자 신원을 효과적으로 익명화할 수 있는가?
• RQ2 익명화된 음성의 언어적 정확도는 ASR 시스템에서 WER로 측정했을 때 어느 정도 유지되는가?
• RQ3 MOS 및 청취자 인식 유사도 측면에서 익명화된 음성의 품질은 원본 음성과 비교해 어떻게 되는가?
• RQ4 익명화가 화자 확인 시스템에 미치는 영향은 EER 증가로 측정했을 때 어떠한가?
• RQ5 PPG 레이어 선택(6번째 시그모이드 vs. 소프트맥스)이 신원 익명화와 음성 품질의 균형에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 화자 확인 시스템의 등가오류률(EER)을 최대 10.8배까지 증가시켜 강력한 익명화 성능을 입증했다.
• 평균 관점 점수(MOS)로 측정한 음성 품질은 높았으며, 익명화된 음성은 2.31에서 3.25 사이의 점수를 기록했고, 자연 음성의 4.05점과 비교해도 떨어지지 않았다.
• ASR 시스템의 WER는 자연 음성의 9.49%에서 6번째 레이어 PPG 기준 10%에서 30%로 상승했고, 소프트맥스 레이어 기준 25~45%로 상승하여 언어적 내용에 중간 정도의 손실이 있었다.
• x-벡터 평균화 거리가 클수록 더 나은 신원 익명화 효과를 보였으며, 평가자 중 75%가 익명화된 음성이 원본 화자와 다르다고 판단했다.
• 6번째 시그모이드 레이어에서 PPG를 추출할 경우 소프트맥스 레이어보다 더 높은 음성 품질과 낮은 WER를 기록하여 더 나은 표현 학습이 가능했다.
• 이 방법은 화자 신원과 언어적 내용을 상당 부분 분리하는 데 성공했지만, 완벽하지 않은 분리로 인해 유사도가 0.4를 초과할 경우 WER가 증가했다.