[論文レビュー] A Study On Convolutional Neural Network Based End-To-End Replay Anti-Spoofing

Bhusan Chettri, Saumitra Mishra+2 more|arXiv (Cornell University)|May 22, 2018

Speech Recognition and Synthesis参考文献 1被引用数 9

ひとこと要約

本稿は、自動話者認証におけるリプレイスプーフォンスのためのエンドツーエンド畳み込みニューラルネットワーク（CNN）モデルについて、ASVspoof 2017の開発セットと評価セットにおける汎化性能に焦点を当てて調査している。開発データでは低EER（約5%）を達成しているが、全テストアーキテクチャ、包括して約5,000パラメータの新規軽量CNNを含む、評価セットでは著しく性能が劣り（EER >30%）、顕著なデータ分布のギャップとエンドツーエンド学習下でのモデルの汎化困難さを示している。

ABSTRACT

The second Automatic Speaker Verification Spoofing and Countermeasures challenge (ASVspoof 2017) focused on "replay attack" detection. The best deep-learning systems to compete in ASVspoof 2017 used Convolutional Neural Networks (CNNs) as a feature extractor. In this paper, we study their performance in an end-to-end setting. We find that these architectures show poor generalization in the evaluation dataset, but find a compact architecture that shows good generalization on the development data. We demonstrate that for this dataset it is not easy to obtain a similar level of generalization on both the development and evaluation data. This leads to a variety of open questions about what the differences are in the data; why these are more evident in an end-to-end setting; and how these issues can be overcome by increasing the training data.

研究の動機と目的

• ASVspoof 2017データセット上でのエンドツーエンド学習設定下における最先端のCNNベースのスプーフォンスシステムの汎化性能を評価すること。
• 開発セットと評価セット間の汎化に影響を与えるアーキテクチャ的要因および学習設定要因を同定すること。
• 未観測の評価データへの汎化を向上させるためのコンactで軽量なCNNアーキテクチャを提案すること。
• エンドツーエンドモデルにおける開発セットと評価セットの間の性能差の根本的要因を調査すること。

提案手法

• ASVspoof 2017で最高性能を示したシステムを再現するため、3層の畳み込み層と2層の全結合層を有するエンドツーエンドCNNアーキテクチャを採用した。
• 1×9畳み込みフィルタを用い、各畳み込みブロックの後にストライド1×1の3×3マックスプーリング層を配置した。
• 全結合層の入力に50%のドロップアウトを適用し、特徴抽出にMFM活性化関数を採用した。
• 3秒の音声セグメントの単一スペクトログラムおよび分割スペクトログラム（100×129）表現を用いて、モデル性能を評価した。
• 活性化関数（MFM、ReLU、ELU）、ミニバッチサイズ（8、16、32、64）、入力表現を変更し、汎化性能を最適化した。
• 破損した音声ファイル（T_1001658.wavおよびT_1000150.wav）を除いたASVspoof 2017データベースバージョン1でモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 なぜCNNベースのエンドツーエンドモデルはASVspoof 2017チャレンジにおいて開発セットではうまく汎化するが、評価セットでは失敗するのか？
• RQ2 エンドツーエンドモデルにおける汎化問題を悪化させる要因として、開発セットと評価セット間のデータ分布にどのような主な差異があるのか？
• RQ3 活性化関数、ミニバッチサイズ、入力スペクトログラム表現といったアーキテクチャ的選択が、モデルの汎化にどのように影響するのか？
• RQ4 軽量なCNNアーキテクチャは、より大きな複雑なモデルと比較して、開発セットおよび評価セットの両方でより良い汎化を達成できるか？

主な発見

• 開発セットで最高性能を示したモデルはEER 4.98%を達成したが、評価セットではEERが33.11%に上昇し、汎化性能が著しく劣化していることが示された。
• MFMの代わりにReLU活性化関数を用いることで、評価セットの性能がわずかに向上した（EER 31.70 vs. 33.11）、MFMが汎化に最適ではない可能性を示唆した。
• ミニバッチサイズ32が最良の汎化性能を示したが、より大きな（64）やより小さい（8、16）バッチサイズでは両セットで性能が劣化した。
• 分割スペクトログラム表現（3つの1秒セグメント）は単一スペクトログラム表現を上回り、開発セットおよび評価セットの両方でEERを約1.5ポイント低下させた。
• 約5,000パラメータの新規軽量CNNは、開発データではEER 4.98%を達成したが、評価データでは30%を超えるEERを示し、依然として顕著な汎化ギャップが存在することを確認した。
• 本研究では、エンドツーエンドモデルにおける著しい性能劣化の主な要因として、開発セットと評価セット間の顕著なデータ分布の不一致を同定した。