[논문 리뷰] Stream-Voice-Anon: Enhancing Utility of Real-Time Speaker Anonymization via Neural Audio Codec and Language Models

Nikita Kuzmin, Songting Liu외 2명|arXiv (Cornell University)|2026. 01. 20.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

tldr: Stream-Voice-Anon은 실시간 화자 익명화를 위해 신경적 오디오 코덱과 언어 모델 기반의 스트리밍 아키텍처를 적용하여 지연 시간이 최첨단과 비슷하면서도 해석 가능도와 감정 보존을 높이고, 프라이버시 보호도 비슷한 수준으로 유지합니다.

ABSTRACT

Protecting speaker identity is crucial for online voice applications, yet streaming speaker anonymization (SA) remains underexplored. Recent research has demonstrated that neural audio codec (NAC) provides superior speaker feature disentanglement and linguistic fidelity. NAC can also be used with causal language models (LM) to enhance linguistic fidelity and prompt control for streaming tasks. However, existing NAC-based online LM systems are designed for voice conversion (VC) rather than anonymization, lacking the techniques required for privacy protection. Building on these advances, we present Stream-Voice-Anon, which adapts modern causal LM-based NAC architectures specifically for streaming SA by integrating anonymization techniques. Our anonymization approach incorporates pseudo-speaker representation sampling, a speaker embedding mixing and diverse prompt selection strategies for LM conditioning that leverage the disentanglement properties of quantized content codes to prevent speaker information leakage. Additionally, we compare dynamic and fixed delay configurations to explore latency-privacy trade-offs in real-time scenarios. Under the VoicePrivacy 2024 Challenge protocol, Stream-Voice-Anon achieves substantial improvements in intelligibility (up to 46% relative WER reduction) and emotion preservation (up to 28% UAR relative) compared to the previous state-of-the-art streaming method DarkStream while maintaining comparable latency (180ms vs 200ms) and privacy protection against lazy-informed attackers, though showing 15% relative degradation against semi-informed attackers.

연구 동기 및 목표

• 실시간 스트리밍 애플리케이션에서 엄격한 지연 제약을 가진 화자 익명화(SA)를 동기화하는 동기를 제시한다.
• 신경 오디오 코덱(NAC) 표현과 인과적 언어 모델을 활용하여 콘텐츠와 화자 신원을 분리한다.
• 프라이버시를 강화하기 위한 의사 화자 샘플링, 화자 임베딩 혼합, 프롬프트 기반 LM 조건화를 포함한 익명화 기술을 도입한다.
• 동적 지연 및 스트리밍 아키텍처를 통해 지연-프라이버시-유용성의 트레이드오프를 탐구한다.
• VoicePrivacy 2024 벤치마크로 평가하여 기존 방법들과의 유용성, 프라이버시, 지연을 비교한다.

제안 방법

• HuBERT 도출 피처에서 화자 불변 콘텐츠 토큰을 추출하기 위해 VQ 병목을 가진 인과적 스트리밍 콘텐츠 인코더를 사용한다.
• Slow AR 및 Fast AR 디코더를 갖춘 2단계 자기회귀 보이스 변환(ARVC) 모델을 사용하여 프레임당 여러 음향 코드북을 생성한다.
• 전역 화자 임베딩과 프롬프트 유도 음향 맥락에 ARVC를 조건화하고, 지연 QoS를 균형 있게 맞추기 위해 프롬프트의 동적 per-utterance 지연 d를 활용한다.
• 프롬프트 풀링 및 화자 임베딩 혼합을 통한 추론 시 익명화, 프롬프트 임베딩 평균화 및 가우시안 익명화 화자 임베딩 샘플링 포함.
• 스트리밍 I/O를 존중하기 위해 프레임 수준 AR 분해를 인터리브 방식으로 훈련하고, 프레임당 여러 코드북을 처리하기 위한 2단계 디코딩을 사용한다.
• EER(프라이버시), WER(가독성), UAR(감정 보존)을 사용하여 VoicePrivacy 2024 하에서 평가한다.

(a) Training

실험 결과

연구 질문

• RQ1 스트리밍 NAC 기반 아키텍처가 실시간으로 언어 콘텐츠와 감정을 보존하면서 경쟁력 있는 프라이버시 보호를 제공할 수 있는가?
• RQ2 스트리밍 SA에서 동적 지연의 지연-프라이버시-유용성 트레이드오프는 무엇인가?
• RQ3 프롬프트 다양성 및 화자 임베딩 혼합이 공격자 성공률과 다운스트림 작업 성능에 어떤 영향을 미치는가?
• RQ4 온라인 SA 방법이 프라이버시 및 intelligibility 측면에서 오프라인 베이스라인에 얼마나 근접할 수 있는가?

주요 결과

• 이전 스트리밍 최첨단인 DarkStream보다 이해도와 감정 보존에서 우수하며 지연 및 프라이버시도 유사한 수준으로 유지된다.
• 유사한 지연 예산 하에서 DarkStream 대비 상대적 WER 감소가 최대 46%까지 향상된 이해도를 보인다.
• 프롬프트 조건화를 통해 DarkStream 대비 최대 28%의 UAR로 감정 보존이 향상된다.
• 게으르게 정보를 가진 공격자 아래 프라이버시 보호가 DarkStream과 비슷하게 유지되며(EER 약 47.3%), 준정보 공격자 아래 약간의 저하(EER 약 18.6–21.8%)가 있다.
• 동적 지연은 재훈련 없이 지연-품질 트레이드오프를 가능하게 하며, 고정 지연은 ASR 이득이 미미하고 프라이버시 이점이 없다.
• 프롬프트 다양성(vctk-1fix, vctk-1rnd, vctk-4rnd, cross-ds-4rnd 등)이 준정보 공격자에 대한 EER을 높여 공격자 적응을 방해한다.

(b) Inference