[論文レビュー] Exploring the Importance of F0 Trajectories for Speaker Anonymization using X-vectors and Neural Waveform Models

Ünal Ege Gaznepoglu, Nils Peters|arXiv (Cornell University)|Oct 13, 2021

Speech Recognition and Synthesis参考文献 15被引用数 5

ひとこと要約

本稿は、X-ベクトルおよびニューラル波形モデルを用いた話者匿名化における基本周波数（F0）トレースの変更が与える影響を調査する。低複雑性のDSP技術、特にランダムウォークノイズをF0に適用して再合成することで、話者匿名化性能（ASV EER）が最大8%向上し、同時に音声の理解性（WER）への影響は最小限に抑えられることを示した。これは、F0の操作が、まだ十分に検討されていないが、音声プライバシー保護システムの向上に有望なアプローチであることを示している。

ABSTRACT

Voice conversion for speaker anonymization is an emerging field in speech processing research. Many state-of-the-art approaches are based on the resynthesis of the phoneme posteriorgrams (PPG), the fundamental frequency (F0) of the input signal together with modified X-vectors. Our research focuses on the role of F0 for speaker anonymization, which is an understudied area. Utilizing the VoicePrivacy Challenge 2020 framework and its datasets we developed and evaluated eight low-complexity F0 modifications prior resynthesis. We found that modifying the F0 can improve speaker anonymization by as much as 8% with minor word-error rate degradation.

研究の動機と目的

• F0トレースが話者匿名化に与える役割を、音声プライバシー分野においてまだ十分に検討されていない分野として調査すること。
• 低複雑性のF0変更が匿名化性能（ASV EER）と音声理解性（WER）に与える影響を評価すること。
• F0の操作が、F0を無視する現在の最先端のシステムを超えて匿名化を向上させられるかどうかを特定すること。
• F0の変更が、匿名化の向上を維持しつつ、逆引き可能または聴覚的に透明であるようにできるかどうかを評価すること。
• F0を制御可能な信号として用いることで、音声品質を損なわずにプライバシーを強化する可能性を検討すること。

提案手法

• 本研究では、X-ベクトルおよびニューラル波形モデルに基づく、VoicePrivacy Challenge 2020のフレームワークとベースラインシステムを用いる。
• 8種類の低複雑性F0変更技術を設計した：フラットニング、スプラインスムージング、正弦波変調、および強度を変えて適用するランダムウォークノイズ。
• F0トレースは、ベースラインと同一のニューラル音声および波形モデルを用いて再合成の前に変更された。
• 匿名化出力は、客観的指標として評価された：ASV性能のためのEER、および「OA」と「AA」の両シナリオにおけるASR性能のためのWER。
• 実験では、さまざまな周波数セットと振幅レベルにおけるベースライン性能と、F0トレースを変更した場合の性能を比較した。
• ランダムウォークノイズ手法は、匿名化の恩恵を維持しながら聴覚的アーティファクトを低減するため、後処理スムージングをさらに最適化した。

実験結果

リサーチクエスチョン

• RQ1 F0トレースの変更は、ベースラインシステムを上回る話者匿名化性能を向上させるか？
• RQ2 異なるF0変更技術は、匿名化（ASV EER）と理解性（WER）のトレードオフにどのように影響を与えるか？
• RQ3 F0の変更を、匿名化の向上を維持しつつ、聴覚的に透明にできるか？
• RQ4 なぜベースラインシステムはF0トレースの匿名化に失敗するのか？また、F0におけるアイデンティティ漏洩の特徴は何か？
• RQ5 F0にランダムウォークノイズを適用することは、実用的で、かつ逆引き不可能な方法として音声プライバシーの強化に有効か？

主な発見

• ランダムウォークノイズによるF0の操作により、'OA' EERスコアでベースライン比最大8%の匿名化性能向上が達成された。
• 'random-walk-strong'手法は、ドメイン適応型オートエンコーダーを含む、最先端のX-ベクトル変更技術と同等またはそれ以上の匿名化性能を達成した。
• 'random-walk-weak'手法は、シフト・スケールベースラインと同等のWERおよびトレーニングセットEERを達成したが、逆引き抵抗性が優れていた。
• 正弦波F0変調は顕著なバイブラートアーティファクトを引き起こし、聴覚的品質を低下させたが、ランダムウォークノイズは低振幅では聴き取りにくかった。
• 発話間の分散を増加させるF0変更（例：ランダムウォーク）は、'AA' EERスコアを低下させ、登録データが匿名化された状況でも匿名化が維持されることを示した。
• ランダムウォークノイズの後処理スムージングにより、不自然なF0の変動が低減されつつ、匿名化の恩恵は損なわれなかった。これは、聴覚的に耐性のあるF0操作の実現に向けた道筋を示唆している。