[논문 리뷰] The VoicePrivacy 2022 Challenge Evaluation Plan

Natalia Tomashenko, Miao, Xiaoxiao외 8명|arXiv (Cornell University)|2022. 03. 23.

Speech Recognition and Synthesis인용 수 9

한 줄 요약

이 논문은 음성 정체성을 은폐하면서 언어적 내용, 이해 가능성, 자연스러움을 유지하는 음성 익명화 시스템을 개발하기 위한 벤치마킹 이니셔티브인 VoicePrivacy 2022 챌린지의 개요를 제시한다. 반정보형 자동 화자 확인(ASV) 공격 모델을 도입하고, EER, WER, 피치 상관관계, 음성 독창성 등의 지표를 사용해 시스템을 평가하며, 공통된 데이터셋과 프로토콜을 기반으로 한 최소 개인정보 보호 요구 조건을 바탕으로 순위 정책을 수립하여 익명화 기법 간 공정한 비교를 가능하게 한다.

ABSTRACT

For new participants - Executive summary: (1) The task is to develop a voice anonymization system for speech data which conceals the speaker's voice identity while protecting linguistic content, paralinguistic attributes, intelligibility and naturalness. (2) Training, development and evaluation datasets are provided in addition to 3 different baseline anonymization systems, evaluation scripts, and metrics. Participants apply their developed anonymization systems, run evaluation scripts and submit objective evaluation results and anonymized speech data to the organizers. (3) Results will be presented at a workshop held in conjunction with INTERSPEECH 2022 to which all participants are invited to present their challenge systems and to submit additional workshop papers. For readers familiar with the VoicePrivacy Challenge - Changes w.r.t. 2020: (1) A stronger, semi-informed attack model in the form of an automatic speaker verification (ASV) system trained on anonymized (per-utterance) speech data. (2) Complementary metrics comprising the equal error rate (EER) as a privacy metric, the word error rate (WER) as a primary utility metric, and the pitch correlation and gain of voice distinctiveness as secondary utility metrics. (3) A new ranking policy based upon a set of minimum target privacy requirements.

연구 동기 및 목표

• 음성 정체성을 억제하면서 언어적 내용과 음성 품질을 유지하는 효과적인 음성 익명화 기법의 개발을 촉진하기 위해.
• 공통된 데이터셋, 프로토콜, 평가 지표를 갖춘 표준화된 벤치마크를 구축하여 익명화 시스템 간 비교를 가능하게 하기 위해.
• 반정보형 ASV 공격 모델, EER을 개인정보 지표로, WER을 주요 유용성 지표로 사용하여 익명화 성능을 평가하기 위해.
• 보조 유용성 지표인 피치 상관관계(ρF₀)와 음성 독창성 증가도(GVD)를 도입하여 부언적 특성의 유지 여부를 평가하기 위해.
• 최소 개인정보 보호 요구 조건을 바탕으로 순위 정책을 시행하여 시스템 비교의 강건성과 공정성을 확보하기 위해.

제안 방법

• 참가자들은 공통 데이터셋을 사용해 음성 익명화 시스템을 훈련하고 적용하여 원본 음성을 익명화된 형태로 변환하면서 언어적 내용을 유지한다.
• 평가 과정에서는 익명화된 발화문을 기반으로 훈련된 반정보형 ASV 시스템을 사용하여 등가오류율(EER)을 통해 개인정보 泄露 정도를 측정한다.
• 언어적 유용성은 익명화된 음성에 적용한 자동 음성 인식(ASR) 시스템의 단어 오류율(WER)을 통해 평가한다.
• 보조 유용성 지표로는 피치 상관관계(ρF₀)와 음성 독창성 증가도(GVD)를 포함하여 프로소디 및 음성 특성의 유지 여부를 평가한다.
• 평가 스크립트는 익명화된 음성을 처리하여 ASV 및 ASR 점수, Kaldi 형식의 PLDA(LLR) 점수, 제출용 결과 파일을 생성한다.
• 모든 제출물에는 객관적 평가 결과, 익명화된 오디오(16 kHz, PCM 형식), 상세한 시스템 기술서가 포함되며, 중앙 집중식 포털을 통해 제출된다.

실험 결과

연구 질문

• RQ1 음성 익명화 시스템은 음성의 이해 가능성과 자연스러움을 유지하면서 얼마나 효과적으로 화자 정체성을 은폐할 수 있는가?
• RQ2 반정보형 ASV 공격 모델은 익명화된 음성에서 잔류하는 화자 정체성을 어느 정도 폭 드러내는가?
• RQ3 익명화된 음성 신호는 하류 ASR 시스템의 WER 측정을 통해 얼마나 잘 언어적 내용을 유지하는가?
• RQ4 피치 및 음성 독창성과 같은 핵심 부언적 특성은 익명화 후 얼마나 변화하는가?
• RQ5 객관적 지표와 최소 개인정보 보호 기준을 갖춘 표준화된 평가 프레임워크는 익명화 기법 간 공정하고 재현 가능한 비교를 보장할 수 있는가?

주요 결과

• VoicePrivacy 2022 챌린지는 익명화된 데이터를 기반으로 훈련된 더 강력한 반정보형 ASV 공격 모델을 도입하여 효과적인 익명화를 달성하는 난이도를 높였다.
• EER 지표는 주요 개인정보 보호 지표로 사용되었으며, 낮은 값일수록 더 우수한 익명화 성능을 의미했다.
• WER 지표는 주요 유용성 지표로 사용되었으며, 낮은 값일수록 익명화된 음성에서 언어적 내용의 유지 정도가 뛰어남을 의미했다.
• 보조 지표인 ρF₀와 GVD는 프로소디 및 음성 특성의 유지 여부에 대한 통찰을 제공하였으며, 높은 값일수록 더 우수한 유지 정도를 의미했다.
• 최소 개인정보 보호 요구 조건을 기반으로 한 순위 정책을 수립하여, 최소 기준 개인정보 보호 수준을 충족하는 시스템만 최종 평가 대상으로 삼았다.
• 모든 결과물, 즉 익명화된 오디오와 평가 점수는 표준화된 형식으로 제출되었으며, 조직자에 의해 재현 가능성과 공정성을 확보하기 위해 검증되었다.