[논문 리뷰] Voice-Indistinguishability: Protecting Voiceprint in Privacy-Preserving Speech Data Release

Yaowei Han, Sheng Li외 3명|arXiv (Cornell University)|2020. 04. 16.

Speech Recognition and Synthesis참고 문헌 25인용 수 6

한 줄 요약

이 논문은 음성 데이터 배포 시 음성인식정보를 보호하기 위한 차별적 개인정보 보호 기반 신규 메트릭인 음성구분불가성(voice-indistinguishability)을 제안한다. x-vector 표현과 노이즈 주입을 활용하여 강력한 프라이버시-유용성 트레이드오프를 달성하는 두 가지 프레임워크(특징 수준 및 모델 기반)를 제안하며, 공개 데이터셋에서 낮은 CER와 높은 MOS 점수로 검증되었다.

ABSTRACT

With the development of smart devices, such as the Amazon Echo and Apple's HomePod, speech data have become a new dimension of big data. However, privacy and security concerns may hinder the collection and sharing of real-world speech data, which contain the speaker's identifiable information, i.e., voiceprint, which is considered a type of biometric identifier. Current studies on voiceprint privacy protection do not provide either a meaningful privacy-utility trade-off or a formal and rigorous definition of privacy. In this study, we design a novel and rigorous privacy metric for voiceprint privacy, which is referred to as voice-indistinguishability, by extending differential privacy. We also propose mechanisms and frameworks for privacy-preserving speech data release satisfying voice-indistinguishability. Experiments on public datasets verify the effectiveness and efficiency of the proposed methods.

연구 동기 및 목표

• 음성 데이터 배포를 위한 음성인식정보 보호에서 공식적인 프라이버시 정의의 부족을 해결하기 위해.
• 적대자에 대한 배경 지식에 의존하지 않는 프라이버시 메트릭을 개발하여 강력한 프라이버시 보장을 확보하기 위해.
• 언어적 내용은 유지하면서도 발신자 신원을 은폐함으로써 음성 데이터 배포에서 프라이버시와 유용성의 균형을 이루기 위해.
• 다양한 수준의 변형(특징 수준 대비 모델 수준)을 사용한 음성인식정보 익명화를 위한 실용적인 프레임워크를 설계하기 위해.
• 공개 음성 데이터셋에서의 목적적 및 주관적 평가를 통해 제안된 방법을 실증적으로 검증하기 위해.

제안 방법

• x-vector가 나타내는 음성인식정보 간의 거리 기반으로 음성구분불가성을 정의함으로써 메트릭 프라이버시를 확장한다.
• 차별적 개인정보 보호 원칙을 적용하여, x-vector 간의 쌍별 거리에 따라 노이즈를 주입함으로써 유사도 비례로 프라이버시를 보장한다.
• 두 가지 프레임워크를 제안한다: 특징 수준 프레임워크는 x-vector를 직접 변형하고, 모델 기반 프레임워크는 엔드 투 엔드 음성인식 학습 중에 노이즈를 적용한다.
• x-vector를 음성인식정보 표현으로 사용하고, 메커니즘의 민감도를 기반으로 노이즈 스케일링을 적용하여 프라이버시 예산(ε) 준수를 확보한다.
• 연결주의 시간분류(CTC)를 사용하고 문자 수준 레이블과 배치 정규화를 적용하여, 변형된 데이터에서 강력한 ASR 모델을 훈련시킨다.
• 유용성은 문자 오류율(CER)과 자연스러움은 평균 의견 점수(MOS)로 평가하며, 15명의 청취자 참여 주관적 听음 테스트를 실시한다.

실험 결과

연구 질문

• RQ1 적대자의 배경 지식에 대한 가정 없이도 음성인식정보 보호를 위한 공식적인 프라이버시 메트릭을 정의할 수 있는가?
• RQ2 음성 데이터 배포에서 음성인식정보 프라이버시는 어떻게 정량적으로 측정하고 보장할 수 있는가?
• RQ3 음성인식정보 익명화된 음성 데이터에서 프라이버시와 유용성 간의 트레이드오프는 어떠한가?
• RQ4 다른 구현 수준(특징 수준 대비 모델 기반)은 시간 복잡도와 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 익명화 후에도 음성인식 유용성을 어느 정도 유지하는가?

주요 결과

• 제안된 음성구분불가성 메트릭은 적대자 지식에 의존하지 않는 엄밀하고 수학적으로 탄탄한 프라이버시 보장을 제공한다.
• 더 큰 프라이버시 예산 ε는 더 낮은 문자 오류율(CER)을 초래함으로써, 노이즈 내성 능력 향상에 따라 유용성이 향상됨을 확인한다.
• 주관적 평가에서 자연스러움에 대한 높은 MOS 점수와 강한 유사도 부족이 나타나, 음질 손실 없이 효과적인 프라이버시 보호가 이루어졌음을 시사한다.
• 모델 기반 프레임워크는 특징 수준 프레임워크 대비 시간 복잡도를 O(n²) 감소시켜 대규모 데이터셋에 특히 유리하다.
• 두 프레임워크 모두 균형 잡힌 프라이버시-유용성 트레이드오프를 달성하며, ε가 증가할수록 CER가 감소함으로써 노이즈 주입 메커니즘의 효과성을 입증한다.
• 이 방법은 발신자 확인 공격을 효과적으로 완화하면서도 자동 음성인식 작업에서 높은 성능을 유지한다.