[논문 리뷰] Evaluating Voice Conversion-based Privacy Protection against Informed Attackers

Brij Mohan Lal Srivastava, Nathalie Vauquier외 4명|arXiv (Cornell University)|2019. 11. 10.

Speech Recognition and Synthesis참고 문헌 25인용 수 76

한 줄 요약

논문은 음성 변환 기반 익명화가 다양한 지식 수준의 공격자에 대해 얼마나 잘 보호하는지 평가하며, 공격자가 완전한 지식을 가진 경우(Informed attackers) 프라이버시 보호를 크게 무력화하는 반면 부분 지식의 공격자(Semi-Informed)는 특정 대상 선택 전략으로 완화될 수 있으며 무지한 공격자(Ignorant)에게는 강한 unlinkability를 보여준다.

ABSTRACT

Speech data conveys sensitive speaker attributes like identity or accent. With a small amount of found data, such attributes can be inferred and exploited for malicious purposes: voice cloning, spoofing, etc. Anonymization aims to make the data unlinkable, i.e., ensure that no utterance can be linked to its original speaker. In this paper, we investigate anonymization methods based on voice conversion. In contrast to prior work, we argue that various linkage attacks can be designed depending on the attackers' knowledge about the anonymization scheme. We compare two frequency warping-based conversion methods and a deep learning based method in three attack scenarios. The utility of converted speech is measured via the word error rate achieved by automatic speech recognition, while privacy protection is assessed by the increase in equal error rate achieved by state-of-the-art i-vector or x-vector based speaker verification. Our results show that voice conversion schemes are unable to effectively protect against an attacker that has extensive knowledge of the type of conversion and how it has been applied, but may provide some protection against less knowledgeable attackers.

연구 동기 및 목표

• 다양한 공격자 지식 수준에서 음성 변환(VC) 익명화의 unlinkability를 평가한다.
• 다양한 target-selection 전략 하에서 세 가지 VC 방법(VoiceMask, VTLN-based VC, disentangled-representation VC)을 비교한다.
• 변환된 음성에서 화자 검증 EER과 ASR WER를 측정하여 프라이버시와 유용성을 정량화한다.
• 위협 모델을 형식화하고 프라이버시 보존 음성 처리 설계를 위한 지침을 제공한다.

제안 방법

• 비평행(non-parallel), 다대다(many-to-many), 소스- 및 언어 독립적인 세 가지 VC 방법(VoiceMask, VTLN-based VC, disentangled representation VC)을 평가한다.
• 세 가지 target-selection 전략을 정의한다: const(고정 대상), perm(사용자당 무작위 대상), random(발화당 무작위 대상).
• VC 방법 및 매개변수에 대해 Ignorant, Semi-Informed, Informed의 공격자 지식 수준을 정의한다.
• 변환된 데이터에서 i-vector/x-vector 기반 화자 검증의 EER 및 변환된 데이터의 ASR WER를 통해 unlinkability를 평가한다.
• LibriSpeech에서 x-vector 및 i-vector 시스템을 학습시키고, 변환된 데이터로 학습된 하이브리드 CTC/Attention 모델로 ASR을 평가한다.

실험 결과

연구 질문

• RQ1 공격자 지식(Ignorant, Semi-Informed, Informed)에 따라 VC 방법 및 target-selection 전략 전반에 걸쳐 unlinkability가 어떻게 달라지는가?
• RQ2 현실적인 공격자 지식 수준에서 어떤 target-selection 전략이 프라이버시를 가장 잘 보호하는가?
• RQ3 각 방법에 대해 VC가 다운스트림 ASR 성능(WER) 및 화자 검증 지표(EER)에 미치는 영향은 무엇인가?

주요 결과

• Informed attackers는 일부 VC 방법에서 기저선과 같거나 더 낮은 EER를 달성하여 공격자가 VC 방식과 대상에 대해 완전한 지식을 가질 때 프라이버시 보호가 제한적임을 시사한다.
• Semi-Informed 공격자들은 상당한 프라이버시 보호를 얻으며, permutation 전략(perm)이 전략들 중에서 종종 가장 강한 unlinkability를 제공한다.
• Ignorant 공격자들은 VC가 적용되었는지 모르는 탓에 훨씬 강한 unlinkability를 보이며 보호가 크게 강화된다.
• 적절한 target-selection 전략을 갖춘 VTLN-based VC는 부분 지식에 대한 연결 공격에 대해 합리적인 프라이버시 보호를 제공하는 반면, VoiceMask는 정보에 밝은 지식에서 더 취약하다.
• Disentangled-representation VC는 큰 WER 증가를 야기하여 평가된 설정에서 유용성이 낮음을 나타내지만, 공격자 지식 및 대상 전략에 따라 프라이버시 프로파일은 다르게 나타난다.
• 비변환 데이터의 기저 EER: i-vector 4.61% 및 x-vector 4.31%; ASR WER 기저값 9.4%.