[論文レビュー] Stream-Voice-Anon: Enhancing Utility of Real-Time Speaker Anonymization via Neural Audio Codec and Language Models

Nikita Kuzmin, Songting Liu+2 more|arXiv (Cornell University)|Jan 20, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

Stream-Voice-Anon は neural audio codec と language-model-based streaming アーキテクチャを実時点話者匿名化に適用し、state-of-the-art に匹敵する遅延で可聴性と感情保持を高めつつ、同等のプライバシー保護を維持する。

ABSTRACT

Protecting speaker identity is crucial for online voice applications, yet streaming speaker anonymization (SA) remains underexplored. Recent research has demonstrated that neural audio codec (NAC) provides superior speaker feature disentanglement and linguistic fidelity. NAC can also be used with causal language models (LM) to enhance linguistic fidelity and prompt control for streaming tasks. However, existing NAC-based online LM systems are designed for voice conversion (VC) rather than anonymization, lacking the techniques required for privacy protection. Building on these advances, we present Stream-Voice-Anon, which adapts modern causal LM-based NAC architectures specifically for streaming SA by integrating anonymization techniques. Our anonymization approach incorporates pseudo-speaker representation sampling, a speaker embedding mixing and diverse prompt selection strategies for LM conditioning that leverage the disentanglement properties of quantized content codes to prevent speaker information leakage. Additionally, we compare dynamic and fixed delay configurations to explore latency-privacy trade-offs in real-time scenarios. Under the VoicePrivacy 2024 Challenge protocol, Stream-Voice-Anon achieves substantial improvements in intelligibility (up to 46% relative WER reduction) and emotion preservation (up to 28% UAR relative) compared to the previous state-of-the-art streaming method DarkStream while maintaining comparable latency (180ms vs 200ms) and privacy protection against lazy-informed attackers, though showing 15% relative degradation against semi-informed attackers.

研究の動機と目的

• ストリーミングアプリケーションにおける厳密な遅延要件を満たすリアルタイム話者匿名化（SA）の動機付け。
• Content と話者アイデンティティを分離するために neural audio codec（NAC）表現と因果的 language model を活用。
• 匿名化技術（疑似話者サンプリング、話者埋め込み混合、prompt ベースのLM conditioning）を導入しプライバシーを強化。
• 動的遅延とストリーミングアーキテクチャによる遅延-プライバシー-有用性のトレードオフを探る。
• VoicePrivacy 2024 ベンチマークと比較して、従来手法と比較した有用性、プライバシー、遅延を評価。

提案手法

• HuBERT由来特徴から話者不変コンテンツトークンを抽出する因果的ストリーミングコンテンツエンコーダを VQ ボトルネックとともに使用。
• Slow AR と Fast AR デコーダを備えた二段 autoregressive ボイスコンバージョン（ARVC）モデルを用い、フレームごとに複数の音響コードブックを生成。
• ARVC をグローバルな話者埋め込みとプロンプト由来の音響コンテキストで条件付けし、遅延と品質のバランスをとるために動的な発話ごとの遅延 d を利用。
• プロンプトプーリングと話者埋め込み混合による推論時匿名化を実現し、プロンプト埋め込みの平均化とガウス匿名化話者埋め込みのサンプリングを含む。
• ストリーミング I/O を考慮したフレームレベル AR factoring の交互訓練と、1 フレームあたり複数のコードブックを扱う二段デコーディングを使用。
• VoicePrivacy 2024 の下で EER（プライバシー）、WER（ intelligibility）、UAR（感情保持）で評価。

(a) Training

実験結果

リサーチクエスチョン

• RQ1 ストリーミング NAC ベースのアーキテクチャは、リアルタイムで言語内容と感情を保持しつつ競争力のあるプライバシー保護を提供できるか。
• RQ2 ストリーミング SA における動的遅延の遅延-プライバシー-有用性のトレードオフはどうなるか。
• RQ3 プロンプト多様性と話者埋め込み混合は、攻撃者の成功率と下流タスクの性能にどう影響するか。
• RQ4 オンライン SA 手法はオフラインのベースラインに対してどれだけプライバシーと intelligibility の面で近づけるか。

主な発見

• 従来のストリーミング最先端技術（DarkStream）と比較して、遅延とプライバシーを保ちながら可聴性と感情保持で優れている。
• 同等の遅延予算の下で DarkStream に対し相対的 WER 減少率で最大 46% の intelligibility 改善。
• プロンプト条件付けを通じて DarkStream に対する UAR の感情保持を最大で 28% 向上。
• lazy-informed アタッカーに対してはプライバシ保護が DarkStream に匹敵（EER ≈ 47.3%）; 半情報型アタッカーではわずかな低下（EER ≈ 18.6–21.8%） 。
• 動的遅延は再訓練なしで遅延-品質のトレードオフを可能にする；固定遅延は ASR の向上効果がわずかでプライバシ保護にも寄与しない。
• プロンプト多様性（例：vctk-1fix, vctk-1rnd, vctk-4rnd, cross-ds-4rnd）は半情報型アタッカーに対する EER を高め、攻撃者の適応を妨げる。

(b) Inference