[논문 리뷰] The VoicePrivacy 2020 Challenge Evaluation Plan

Natalia Tomashenko, Brij Mohan Lal Srivastava외 9명|arXiv (Cornell University)|2022. 05. 14.

Speech Recognition and Synthesis참고 문헌 19인용 수 26

한 줄 요약

이 논문은 VoicePrivacy 2020 익명화 태스크, 데이터, 공격 모델, 평가 지표(객관적 및 주관적), 그리고 프라이버시 보존 음성 기술 벤치마크를 위한 두 개의 익명화 베이스라인을 정의한다.

ABSTRACT

The VoicePrivacy Challenge aims to promote the development of privacy preservation tools for speech technology by gathering a new community to define the tasks of interest and the evaluation methodology, and benchmarking solutions through a series of challenges. In this document, we formulate the voice anonymization task selected for the VoicePrivacy 2020 Challenge and describe the datasets used for system development and evaluation. We also present the attack models and the associated objective and subjective evaluation metrics. We introduce two anonymization baselines and report objective evaluation results.

연구 동기 및 목표

• GDPR 유사한 우려 속에서 음성 데이터의 프라이버시 보호를 촉진한다.
• 화자 신원 노출을 차단하면서 이해도와 자연성을 보존하는 구체적 익명화 태스크를 정의한다.
• 익명화 솔루션의 공정한 비교를 가능하게 하는 공통 데이터셋, 프로토콜 및 지표를 제공한다.
• 익명화된 음성의 프라이버시와 유용성을 평가하기 위한 객관적 및 주관적 지표를 조사한다.

제안 방법

• 공격자가 익명화 발화에서 화자 식별을 시도하는 프라이버시 보존 게임을 형식화한다.
• 다른 의사 화자처럼 들리면서도 언어 내용은 보존하는 트라이얼 발화를 생성하는 익명화 태스크를 명시한다.
• enrollment 데이터 및 익명화 가정이 서로 다른 다양한 공격 모델을 제안하여 프라이버시 지표를 계산한다.
• LibriSpeech, LibriTTS, VCTK, VoxCeleb에서 추출한 데이터 소스 및 서브셋(훈련, 개발, 평가)을 설명한다.
• 평가를 위한 객관적 지표(ASV 검증성, ASR 성능)와 주관적 지표(검증성, 연계성, 이해가능성, 자연스러움)를 정의한다.
• 두 개의 익명화 베이스라인(x-vector 기반의 신경 파형 모델; McAdams 계수 기반 방법)과 그 학습 데이터를 개요한다.

실험 결과

연구 질문

• RQ1 익명화 시스템이 언어 내용은 보존하면서 화자 식별 정보를 얼마나 효과적으로 억제할 수 있는가?
• RQ2 익명화 음성의 프라이버시와 유용성을 평가하기 위한 적절한 객관적 및 주관적 지표는 무엇인가?
• RQ3 공통 데이터셋과 프로토콜이 다양한 익명화 접근법의 공정한 비교를 가능하게 할 수 있는가?
• RQ4 대표적 익명화 방법이 표준 음성 데이터셋에서 어떤 베이스라인 성능을 달성하는가?
• RQ5 enrollment 및 trial 데이터 구성이 프라이버시 공격의 효과성에 어떤 영향을 미치는가?

주요 결과

• 계획은 VoicePrivacy 2020을 위한 구체적 익명화 태스크와 포괄적 평가 프로토콜을 도입한다.
• 두 가지 베이스라인: (i) x-vector와 신경 파형 모델, (ii) McAdams 계수 기반 익명화를 설정한다.
• 평가를 위한 객관적 지표(ASV 검증성 및 ASR WER)와 주관적 지표(검증성, 연계성, 이해가능성, 자연스러움)가 정의되어 있다.
• 평가 프레임워크는 LibriSpeech, LibriTTS, VCTK, VoxCeleb 등 공개 코퍼스를 사용하며 훈련, 개발, 평가 서브셋이 명확히 명시되어 있다.
• ASR 및 ASV 평가 시스템은 음성 인식 및 화자 검증에 대한 익명화 영향 평가를 위해 LibriSpeech 데이터로 훈련되었다.
• 프로토콜과 스크립트는 참가 팀 간 재현 가능한 평가를 지원하도록 의도되었다.