[論文レビュー] Adversarial representation learning for private speech generation

David Ericsson, Adam Östberg+3 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 14

ひとこと要約

本稿では、メルスペクトログ램領域で機微な属性（性別など）をフィルタリングし、それらを合成されたプライベートな属性に置き換えることで、音声における性別などの機微な属性を隠蔽する2段階の生成的敵対的ネットワーク、PCMelGANを提案する。この手法は、プライバシーの強化（性別推定精度が約50％に近づく）と、音声の有用性（数字認識精度が80％以上）の維持、およびベースライン手法と比較して50％以上FIDスコアが低減されたリアルな音声生成を達成する。

ABSTRACT

As more and more data is collected in various settings across organizations, companies, and countries, there has been an increase in the demand of user privacy. Developing privacy preserving methods for data analytics is thus an important area of research. In this work we present a model based on generative adversarial networks (GANs) that learns to obfuscate specific sensitive attributes in speech data. We train a model that learns to hide sensitive information in the data, while preserving the meaning in the utterance. The model is trained in two steps: first to filter sensitive information in the spectrogram domain, and then to generate new and private information independent of the filtered one. The model is based on a U-Net CNN that takes mel-spectrograms as input. A MelGAN is used to invert the spectrograms back to raw audio waveforms. We show that it is possible to hide sensitive information such as gender by generating new data, trained adversarially to maintain utility and realism.

研究の動機と目的

• 機械学習システムが処理する音声データにおける機微な属性（例：性別、本人特定情報）の意図しない漏洩に関する懸念が高まる中で、それに対処すること。
• 音声認識などの下流タスクに適した高い有用性を維持するプライバシー保護型音声生成手法を開発すること。
• ボイスモーフィングやボイスコンバージョンの限界を克服し、話者の意図やトーンを変更せずにリアルでプライベートな音声を生成すること。
• 下流タスクに依存せず、任意のカテゴリカルな機微属性に一般化可能な手法を設計すること。

提案手法

• モデルは、U-Netベースのエンコーダ・デコーダアーキテクチャを用いて、メルスペクトログラム領域で機微な属性をフィルタリングする。
• 別個のジェネレータモジュールが、元の属性（例：性別）の新しい合成されたプライベート表現を生成し、元の属性に置き換える。
• 2段階の敵対的訓練設定を採用：まず、フィルターモジュールが機微情報を削除し、次にジェネレータがそれらを合成的かつ独立したデータに置き換える。
• 変更されたメルスペクトログラムを元の音声波形に戻すために、事前学習済みのMelGANが使用される。
• 信号忠実度を制御するための歪み予算εを用いた非制約最適化問題として定式化される。
• 敵対的損失を用いてエンドツーエンドに訓練され、リアルさとプライバシーを確保するとともに、意味的コンテンツの維持が図られる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、発話の意味的コンテンツを維持しつつ、性別のような機微な属性を効果的に隠蔽できるか？
• RQ2 単純なフィルタリングと比較して、合成属性ジェネレータの追加がプライバシーと有用性にどのように寄与するか？
• RQ3 隠蔽処理後、モデルはどの程度音声のリアリズムと知覚的品質を維持できるか？
• RQ4 歪み予算εがプライバシーと音声有用性のトレードオフにどのように影響するか？
• RQ5 本手法は性別以外のカテゴリカルな機微属性に対しても一般化可能か？

主な発見

• フィルタリングされたスペクトログラム上で、性別分類の精度はほぼランダム水準（48.7±2.4％）にまで低下し、強力なプライバシー保護が実現された。
• PCMelGAN設定下でも、数字認識の有用性は高い水準（81.1±3.7％）を維持しており、コンテンツの保持が確認された。
• ε=0.005における生成音声のFIDスコアは10.12±3.15であり、ベースライン（20.17±4.04）と比較して50％の改善が達成された。
• より高い歪み予算（ε=0.1）でも、プライバシーは強固に維持されている（性別精度49.8±0.5％）一方で、中程度の有用性（数字認識精度15.1±5.4％）を維持した。
• 定性的な結果から、生成された音声は知覚的にリアリスティックで、トーンとコンテンツが保持されており、音質の著しい劣化は認められなかった。
• 聴取テストおよびFIDスコアの両面から確認されたように、単純なフィルタリングと比較して、合成属性ジェネレータの追加により音声のリアリズムと忠実度が顕著に向上した。