[論文レビュー] A Study of F0 Modification for X-Vector Based Speech Pseudonymization Across Gender

Pierre Champion, Denis Jouvet+1 more|arXiv (Cornell University)|Jan 21, 2021

Speech and Audio Processing被引用数 11

ひとこと要約

本稿では、x-vectorに基づく音声偽名化において基本周波数（F0）を変更することで、プライバシー保護を強化するとともに、音声の理解可能性を維持する手法を提案する。F0の変更に加えて、反対性別のターゲットスピーカーを選択することで、特に女性スピーカーにおいて、リンク可能性の性能が顕著に向上する。音声認識精度は劣化せず、F0の変更が、堅牢で性別に配慮した偽名化を実現する鍵要因であることが示された。

ABSTRACT

Speech pseudonymization aims at altering a speech signal to map the identifiable personal characteristics of a given speaker to another identity. In other words, it aims to hide the source speaker identity while preserving the intelligibility of the spoken content. This study takes place in the VoicePrivacy 2020 challenge framework, where the baseline system performs pseudonymization by modifying x-vector information to match a target speaker while keeping the fundamental frequency (F0) unchanged. We propose to alter other paralin-guistic features, here F0, and analyze the impact of this modification across gender. We found that the proposed F0 modification always improves pseudonymization We observed that both source and target speaker genders affect the performance gain when modifying the F0.

研究の動機と目的

• F0 などのパラリンギスティック特徴を変更することで、音声データにおけるスピーカー偽名化を向上させ、スピーカーのアイデンティティを示す手がかりを保持する。
• F0 の変更が、男性および女性のスピーカーにおいてリンク可能性性能に与える影響を評価する。
• F0 の変更と反対性別の x-vector 選択を組み合わせることで、プライバシー保護が向上するかどうかを調査する。
• 音声信号の脱識別化と同時に、W ER で測定される高い音声理解可能性を維持する。
• F0 の変更が偽名化パイプラインにおいて性別に依存して効果を発揮するかどうかを評価する。

提案手法

• 本研究では、VoicePrivacy 2020 Baseline-1 システムを拡張し、x-vector 匿名化と音声合成の間に F0 変更モジュールを追加する。
• F0 値はターゲットスピーカーの性別に合わせて変更され、合成音声におけるプロソディックの一貫性が保たれる。
• 匿名化パイプラインは、スピーカーのアイデンティティ（x-vector によるもの）、言語的コンテンツ（PPG によるもの）、およびプロソディ（F0 によるもの）を分離し、偽名化のために x-vector と F0 のみを変更する。
• 神経音響モデルと神経波形モデルを用いて、変更された特徴から最終的な匿名化音声波形を合成する。
• 本システムは、実際のスピーカーから偽スピーカーへの一対一マッピングを強制することで、一貫したアイデンティティの隠蔽を実現する。
• 実験では、男性および女性のソーススピーカーに対して、F0 変更の有無と反対性別の x-vector 選択の有無を組み合わせた条件で比較を行う。

実験結果

リサーチクエスチョン

• RQ1 F0 の変更は、x-vector を用いたシステムにおける偽名化性能を向上させるか？
• RQ2 ソーススピーカーおよびターゲットスピーカーの性別が、F0 変更の効果にどのように影響するか？
• RQ3 F0 変更と反対性別の x-vector 選択を組み合わせることで、元の音声から匿名化音声への攻撃および匿名化音声同士の攻撃に対して、リンク可能性が向上するか？
• RQ4 F0 変更は、LibriSpeech での WER で測定される音声理解可能性にどの程度影響を与えるか？
• RQ5 F0 変更による性能向上は、性別に依存して発生するか？

主な発見

• F0 変更は、男性および女性の両方のスピーカーにおいて一貫して偽名化性能を向上させ、リンク可能性タスクにおける等誤差率（EER）を低下させる。
• 女性スピーカーにおいては、F0 変更はターゲット x-vector が同性または反対性別であってもリンク可能性を向上させるが、F0 変更と反対性別選択を組み合わせた場合に最も顕著な改善が見られる。
• 男性スピーカーにおいては、F0 変更のみで性能が維持またはわずかに向上するが、反対性別 x-vector 選択と組み合わせることで、匿名化音声同士の攻撃シナリオで最良の結果が得られる。
• LibriSpeech テストセットにおける WER は、すべての設定で安定しており、反対性別 x-vector を使用するが F0 変更を行わない場合に最高の WER（7.24％）が観測された。これは、F0 の整合性が信号の一貫性を向上させることを示唆している。
• 女性スピーカーは男性スピーカーに比べて F0 変更に対してより感受性が高く、最適な偽名化を達成するには性別に特化したチューニングが必要である可能性を示している。
• 結果から、F0 変更は、特にターゲットスピーカーが反対性別である場合に、プロソディックな不整合がプライバシーを損なうのを防ぐために、堅牢な偽名化を達成する上で不可欠であることが示された。