[論文レビュー] Speaker Anonymization with Distribution-Preserving X-Vector Generation for the VoicePrivacy Challenge 2020

Henry Turner, Giulio Lovisotto+1 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 14被引用数 15

ひとこと要約

本稿では、集団データからXベクトル空間の統計的性質を学習し、生成モデルを用いて現実的で類似性の低い偽Xベクトルをサンプリングすることで、話者多様性を向上させる分布を保全するXベクトル生成手法を提案する。この手法により、エンドツーエンド評価において男性では最大19.4%、女性では11.1%のEER向上が達成され、匿名化時に話者プールを必要としない点でベースラインを上回る。

ABSTRACT

In this paper, we present a Distribution-Preserving Voice Anonymization technique, as our submission to the VoicePrivacy Challenge 2020. We observe that the challenge baseline system generates fake X-vectors which are very similar to each other, significantly more so than those extracted from organic speakers. This difference arises from averaging many X-vectors from a pool of speakers in the anonymization process, causing a loss of information. We propose a new method to generate fake X-vectors which overcomes these limitations by preserving the distributional properties of X-vectors and their intra-similarity. We use population data to learn the properties of the X-vector space, before fitting a generative model which we use to sample fake X-vectors. We show how this approach generates X-vectors that more closely follow the expected intra-similarity distribution of organic speaker X-vectors. Our method can be easily integrated with others as the anonymization component of the system and removes the need to distribute a pool of speakers to use during the anonymization. Our approach leads to an increase in EER of up to $19.4\%$ in males and $11.1\%$ in females in scenarios where enrollment and trial utterances are anonymized versus the baseline solution, demonstrating the diversity of our generated voices.

研究の動機と目的

• VoicePrivacy Challenge 2020のベースラインでは、話者プールにわたる平均化のため、偽Xベクトルが極めて類似しており、匿名化された話者の多様性に欠ける問題に対処すること。
• 匿名化時に共有話者プールに依存しない、一般化可能な匿名化手法を開発し、実際のXベクトルの自然な内部類似性分布を保つこと。
• 匿名化された話者が互いに区別可能で、元の話者とリンク不能であるように、話者プライバシーを強化すること。
• VoicePrivacy Challenge 2020の脅威モデルに従い、複数のデータセットおよび匿名化シナリオにおいてEERとC_llr_minを評価すること。
• 強制的類似性を導入することで、元の話者に類似しすぎる匿名化話者を生成するリスクを低減できるかどうかを検証すること。

提案手法

• 本手法は、実話者埋め込みの集団からXベクトル空間の分布的性質を学習し、相互および内部類似性統計を捉える。
• Xベクトル空間の次元削減表現上で訓練された生成モデルを用い、実際の話者埋め込みの自然な分布を反映する新たな現実的偽Xベクトルをサンプリングする。
• 生成モデルにより、元の話者埋め込みプールへのアクセスを必要とせず、匿名化Xベクトルをサンプリング可能となり、プライバシー漏洩リスクを軽減する。
• 強制的類似性（FD）は、元のXベクトルと匿名化Xベクトルの間で最小類似度閾値（0.8）を設定することで適用され、元の声への過剰な近似を防ぐ。
• 匿名化Xベクトルは、音声波形を音声合成器（vocoder）を用いて合成する際に使用され、言語的およびプロソディックな内容を保持しながら話者アイデンティティを隠蔽する。
• 標準指標（等誤差率（EER）と最小C_llr）を用いて評価し、LibriSpeechおよびVCTKデータセットにおいてベースラインシステムと比較する。

実験結果

リサーチクエスチョン

• RQ1 ベースライン匿名化手法は、不自然な類似性を持つ偽Xベクトルを生成し、匿名化話者の多様性が低下しているか？
• RQ2 集団Xベクトル統計に学習された生成モデルは、実話者の自然な内部類似性分布をよりよく保持できるか？
• RQ3 登録および試験発話が両方匿名化された場合、EERおよびC_llr_minで測定した場合、本手法は匿名化性能を向上させるか？
• RQ4 強制的類似性は、元の話者に類似しすぎる匿名化話者を生成するリスクをどの程度低減するか？
• RQ5 男性と女性の匿名化改善の性能ギャップが大きい理由は何か？これはモデルバイアスか、データのアンバランスに起因するか？

主な発見

• ベースライン手法は、実際のものよりも顕著に類似度が高い偽Xベクトルを生成しており、話者プールにわたる平均化によって多様性が損なわれていることが示された。
• 登録および試験発話が両方匿名化された場合、本手法は男性で最大19.4%、女性で11.1%のEER向上を達成し、話者リンク不能性の向上を示した。
• 元の登録発話と匿名化された試験発話のシナリオでは、女性で44.2–47.3%、男性で45.1–48.9%のEERが達成され、完全な匿名化の閾値（50%）に近づいた。
• 強制的類似性バージョンは、試験発話のみを匿名化した場合にわずかに高い性能を示したが、両方を匿名化した場合では混合結果となった。これは、元の声への過学習を防ぐのに有効であることを示唆している。
• 語彙誤り率（WER）はベースラインと比較してわずかに低下し、VCTKデータセットで最大1.81%の上昇を示した。これは、音声品質にほとんど影響がないことを示している。
• 共有話者プールを必要とせず、プライバシーリスクを低減しながら、ベースラインと同等またはより優れた性能を達成した。