[논문 리뷰] The Third VoicePrivacy Challenge: Preserving Emotional Expressiveness and Linguistic Content in Voice Anonymization

Tomashenko, Natalia, Xiaoxiao Miao외 8명|arXiv (Cornell University)|2026. 01. 17.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

논문은 2024 VoicePrivacy Challenge를 제시하고, 화자 식별을 비식별화하면서 언어 콘텐츠와 감정 상태를 보존하는 작업 설정과 데이터셋, 공격 모델, 평가 지표, 베이스라인, 그리고 36개 시스템 참여를 상세히 설명한다.

ABSTRACT

We present results and analyses from the third VoicePrivacy Challenge held in 2024, which focuses on advancing voice anonymization technologies. The task was to develop a voice anonymization system for speech data that conceals a speaker's voice identity while preserving linguistic content and emotional state. We provide a systematic overview of the challenge framework, including detailed descriptions of the anonymization task and datasets used for both system development and evaluation. We outline the attack model and objective evaluation metrics for assessing privacy protection (concealing speaker voice identity) and utility (content and emotional state preservation). We describe six baseline anonymization systems and summarize the innovative approaches developed by challenge participants. Finally, we provide key insights and observations to guide the design of future VoicePrivacy challenges and identify promising directions for voice anonymization research.

연구 동기 및 목표

• 개인정보 보호를 위한 음성 처리의 GDPR 유사 제약 하에서 화자 정체성을 숨김으로써 프라이버시를 촉진한다.
• 언어 콘텐츠와 감정 상태를 보존하여 ASR 및 SER 작업의 다운스트림 유용성을 유지한다.
• 도메인에서 익명화 방법을 벤치마크하기 위한 챌린지 프레임워크, 공격 모델, 데이터셋 및 평가 지표를 설명한다.
• 베이스라인 시스템을 제시하고 참가자 접근 방식을 분석하여 향후 VoicePrivacy 연구를 이끈다.

제안 방법

• 발화 단위의 익명화 작업을 정의하여 화자 정체성을 의도된 화자에 가까운 의사 화자로 대체하되 콘텐츠와 감정은 유지한다.
• 공격자가 익명화된 등록 정보를 사용하여 ASV를 통해 화자를 재확인하는 준정보 공개(attacker) 모델을 채택한다.
• 개발/평가를 위해 LibriSpeech와 IEMOCAP 데이터를 사용하고, 프라이버시와 유용성을 평가하기 위해 표준 코퍼스에서 ASV/ASR/SER 모델을 학습한다.
• 익명화된 데이터에서 ASV의 EER 개선으로 프라이버시를 평가하고, ASR의 WER 및 SER의 UAR로 유용성을 평가한다.
• 여섯 가지 베이스라인 익명화 시스템(B1–B6)을 제공하고 다양한 접근 방식으로 제출된 36개 시스템을 요약한다.

Figure 1 : Privacy preservation scenario as a game between users and attackers in the case where speaker identity is considered as personal information to be protected using anonymization, while linguistic and emotional content should be preserved for utility downstream tasks. Privacy evaluation of

실험 결과

연구 질문

• RQ1 발화에서 화자 정체성을 효과적으로 숨기면서 언어 콘텐츠와 감정 상태를 보존할 수 있는가?
• RQ2 다양한 익명화 전략이 프라이버시(더 높은 EER)와 유용성(더 낮은 WER, 더 높은 UAR)을 어떻게 균형 있게 조정하는가?
• RQ3 VPC 2024의 현재 베이스라인 및 참가자 접근 방식의 강점과 한계는 무엇인가?
• RQ4 강한 공격자 모델링이 향후 챌린지의 프라이버시 평가 및 프로토콜 설계에 어떤 영향을 미치는가?

주요 결과

• 2024년 버전은 언어 콘텐츠 외에 감정 상태의 보존을 요구하는 점에서 이전 연구를 확장한다.
• 프라이버시를 위해 EER를, 유용성을 위해 WER/UAR을 준정보 공격 모델 하에서 평가한다.
• 6개의 베이스라인과 36개의 제출 시스템은 신경 보코더, GAN 기반 익명화, 신경 코덱, ASR/BN과 VQ 기법 등 다양한 접근 방식을 보여준다.
• 결과는 프라이버시 보장과 다운스트림 작업 성능 간의 트레이드오프를 강조하며 미래 챌린지 설계와 연구 방향을 제시한다.

Figure 2 : Example system rankings according to the privacy (EER) and utility (WER and UAR) results for 4 minimum target EERs. Different colors correspond to 6 different teams. Numbers within each circle show system ranks for a given category. Grey circles correspond to the baseline systems, and the