[論文レビュー] Attacking Speaker Recognition With Deep Generative Models

Wilson Cai, Anish P. Doshi+1 more|arXiv (Cornell University)|Jan 8, 2018

Digital Media Forensic Detection参考文献 14被引用数 20

ひとこと要約

本論文は、深層学習ベースの話者認識システムをだますことに成功した、GANベースの新規なアプローチを提案する。Wasserstein GAN損失を、実際の非ターゲット話者データを組み込むように変更することで、標的攻撃および非標的攻撃の両方が可能となり、標的攻撃の成功率が75%向上（誤差率は0.38から0.12に低下）した。

ABSTRACT

In this paper we investigate the ability of generative adversarial networks (GANs) to synthesize spoofing attacks on modern speaker recognition systems. We first show that samples generated with SampleRNN and WaveNet are unable to fool a CNN-based speaker recognition system. We propose a modification of the Wasserstein GAN objective function to make use of data that is real but not from the class being learned. Our semi-supervised learning method is able to perform both targeted and untargeted attacks, raising questions related to security in speaker authentication systems.

研究の動機と目的

• 深層生成モデル、特にGANが現代の話者認識システムに対して効果的な敵対的攻撃を生成できるかどうかを調査すること。
• 話者認識システムに対して耐性があるとされる、一般的に音声合成に用いられる自己回帰型モデル（SampleRNN や WaveNet）の耐性を評価すること。
• 非ターゲット話者からのデータを統合することで、標的攻撃性能を向上させる半教師付きのGANベースの攻撃フレームワークを開発すること。
• モード崩壊や標的攻撃における多様性の不足を解消するために、混合実データ分布を用いる修正済み損失関数を導入すること。
• すべての利用可能な話者データ（クラスラベルにかかわらず）を用いて訓練されたGANを用いた非標的攻撃の実現可能性を評価すること。

提案手法

• ターゲットクラスに限らず、すべての話者からの実際の音声サンプルを組み込むことで、生成器の多様性と攻撃性能を向上させる、修正済みWasserstein GAN目的関数を提案する。
• 複数の話者からの実データを組み合わせた混合損失関数を用いて、WGAN-GPを訓練し、生成器が現実的で攻撃に適したMelスペクトログラムを生成できるように誘導する。
• Melスペクトログラムの評価および攻撃テスト中のKNN分類のため、事前学習済みのCNNベースの話者検証器（変更済みAlexNet）を用いて深層特徴（1024次元）を抽出する。
• 生成されたMelスペクトログラムを深層特徴空間内で予測された話者アイデンティティにマッピングするために、K=5のK近傍法（KNN）分類器を適用する。
• 勾配ペナルティを用いたWGAN-GP損失を最適化することで、生成器が実際のものと区別がつかないMelスペクトログラムを生成できるようにする。
• 過学習を防ぎ、攻撃生成器の一般化性能を向上させるために、訓練中にターゲット話者データにガウスノイズを導入する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰型生成モデル（SampleRNN や WaveNet）は、現代のCNNベースの話者認識システムをだますスプーフィング攻撃を効果的に生成できるか？
• RQ2 標準的なGANを用いて、話者検証器が実データとして分類するMelスペクトログラムを生成することで、非標的攻撃をどの程度実現できるか？
• RQ3 非ターゲット話者データを含む修正済みWGAN損失関数は、話者認識システムに対する標的攻撃の成功率を向上させられるか？
• RQ4 GANの訓練プロセスに複数話者の多様な実際の音声データを組み込むと、生成された敵対的サンプルの質および現実性にどのような影響を与えるか？
• RQ5 提案された混合損失関数が、標的話者スプーフィングにおける誤差率および攻撃成功率に与える定量的影響は何か？

主な発見

• SampleRNN や WaveNet が生成したサンプルは、CNNベースの話者認識システムをだませず、ターゲット話者に一致する予測は一切得られなかった。
• 混合損失関数を用いた提案された修正済みWGAN-GPは、標的攻撃で0.12の誤差率を達成し、ベースラインのWGAN-GP（0.38誤差率）と比較して75%の改善を示した。
• すべての利用可能な話者データを用いて訓練されたGANフレームワークを用いた非標的攻撃は、話者検証器が実データとして分類するMelスペクトログラムを効果的に生成した。この際、「その他」クラスへの予測は一切なかった。
• 5000イテレーション後に視覚的検査により確認したところ、生成器はデータセット内に存在するすべての話者のMelスペクトログラム特徴を学習・再現できており、モード崩壊は発生していなかった。
• 改善されたWGAN-GPフレームワークは、5000回の生成器イテレーション後に、実データと見分けがつかないMelスペクトログラムを生成した。1枚の4GB GPUで約10時間の訓練時間が必要であった。
• KNN分類器は、生成されたサンプルを深層特徴空間内で最も近い話者にマッピングできており、標的および非標的両設定における攻撃成功率の正確な評価が可能になった。