[논문 리뷰] Speaker De-identification System using Autoencoders and Adversarial Training

Fernando Espinoza-Cuadros, Juan M. Perero-Codosero외 2명|arXiv (Cornell University)|2020. 11. 09.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 음성의 이해 가능성은 유지하면서 발화자, 성별, 억저리 정보를 억제하기 위해 적대적 훈련과 오토에인코더를 사용한 발화자 비식별 시스템을 제안한다. 이 방법은 발화자 인식에서 등가오류률(EER)을 크게 향상시켜 테스트 세트에서 최대 48.39%까지 상승시켰으며, 음성의 자연스러움을 훼손하지 않은 채 효과적인 개인정보 보호를 입증한다.

ABSTRACT

The fast increase of web services and mobile apps, which collect personal data from users, increases the risk that their privacy may be severely compromised. In particular, the increasing variety of spoken language interfaces and voice assistants empowered by the vertiginous breakthroughs in Deep Learning are prompting important concerns in the European Union to preserve speech data privacy. For instance, an attacker can record speech from users and impersonate them to get access to systems requiring voice identification. Hacking speaker profiles from users is also possible by means of existing technology to extract speaker, linguistic (e.g., dialect) and paralinguistic features (e.g., age) from the speech signal. In order to mitigate these weaknesses, in this paper, we propose a speaker de-identification system based on adversarial training and autoencoders in order to suppress speaker, gender, and accent information from speech. Experimental results show that combining adversarial learning and autoencoders increase the equal error rate of a speaker verification system while preserving the intelligibility of the anonymized spoken content.

연구 동기 및 목표

• 음성 애플리케이션과 음성 보조 기능에서 음성 데이터 수집과 관련된 증가하는 개인정보 문제를 다루기 위해.
• 모의 및 프로파일링을 방지하기 위해 음성 신호에서 성별, 억저리, 신원과 같은 발화자 특수성 정보를 억제하기 위해.
• 음성 이해 가능성과 자연스러움을 유지하면서도 유연하고 암호화 기반이 아닌 익명화 방법을 개발하기 위해.
• 오토에인코더와 적대적 훈련을 융합하여 강력한 발화자 불변 표현 학습을 위한 기존의 발화자 비식별 기법을 향상시키기 위해.
• 재현 가능성과 공정성을 확보하기 위해 VoicePrivacy 2020와 같은 표준 기준 벤치마크에서 시스템을 평가하기 위해.

제안 방법

• 시스템은 VoicePrivacy 2020 챌린지의 기초 x-vector 익명화 파이프라인에 기반하며, 주로 x-vector 익명화 단계에 집중한다.
• 오토에인코더는 입력 x-vector를 재구성함으로써 압축된, 발화자 불변 표현을 학습한다.
• 적대적 디스criminator는 익명화된 x-vector를 발화자 신원, 성별, 억저리로 분류하도록 훈련된다.
• 디코딩기(Encoder)는 디스criminator가 발화자 특성을 식별하는 능력을 최소화하도록 적대적 훈련을 통해 공동 최적화된다.
• 손실 함수는 재구성 손실(L2)과 적대적 손실을 조합하여 정밀도와 비식별 성능 간 균형을 맞춘다.
• 최종 익명화된 x-vector는 언어적 내용은 유지하지만 발화자 특수 신호는 제거된 음성을 합성하는 데 사용된다.

실험 결과

연구 질문

• RQ1 오토에인코더와 적대적 훈련을 조합하여 x-vector에서 발화자 신원, 성별, 억저리 정보를 효과적으로 억제할 수 있는가?
• RQ2 비식별화 후 음성 이해 가능성과 ASR 성능은 어느 정도 유지되는가?
• RQ3 다양한 테스트 세트(LibriTTS, VCTK 등)에서 발화자 및 녹음 조건이 다양할 경우 시스템의 성능은 어떻게 되는가?
• RQ4 오토에인코더와 적대적 훈련의 조합이 개인정보 泄露 감소 측면에서 기존의 익명화 방법보다 뛰어나게 작용하는가?
• RQ5 비식별 성능 향상과 음성 품질 유지 사이의 상충 관계는 어떠한가?

주요 결과

• AAN-2 모델은 원본 음성으로 등록하고 익명화된 음성으로 테스트할 경우 vctk_test_dif 세트에서 EER이 48.39%를 기록하여 강력한 발화자 신원 억제 효과를 보였다.
• libri_test 세트에서는 AAN-1 모델이 원본 대 익명화 시험에서 EER이 47.26%를 기록하여 기준치 대비 상당한 향상을 보였다.
• 시스템은 낮은 C_llr 값(예: AAN-1을 사용한 libri_test 세트에서 0.995)을 유지하여 익명화된 음성이 후속 ASR 작업에 적합함을 시사했다.
• 적대적 훈련 구성 요소는 모든 테스트 세트에서 디스criminator의 정확도가 떨어지는 것으로 나타나 발화자 특성 식별 능력이 크게 감소했다.
• 음성의 자연스러움과 이해 가능성은 유지되었으며, 낮은 C_llr 값과 ASR 성능 저하 최소화로 이를 확인할 수 있었다.
• 오토에인코더와 적대적 훈련의 조합은 모든 테스트 조건에서 EER이 일관되게 상승시켜 비식별화 접근의 효과성을 확인했다.