[論文レビュー] Replay attack detection with complementary high-resolution information using end-to-end DNN for the ASVspoof 2019 Challenge

Jee-weon Jung, Hye-jin Shim+2 more|arXiv (Cornell University)|Apr 23, 2019

Speech and Audio Processing参考文献 28被引用数 12

ひとこと要約

本論文は、自動話者認証におけるリプレイ攻撃検出のため、高分解能スペクトログラム（位相、振幅、パワースペクトル密度（PSD）情報を含む）を直接処理するエンド・ツー・エンドの深層ニューラルネットワーク（DNN）を提案する。手動で設計された特徴量に代えて、補完的で高分解能のスレクトログラムを用い、生波形およびiベクトルとアンサンブル化することで、ASVspoof 2019 フェイズ・アクセスチャレンジの評価セットにおいて、等誤り率（EER）2.45%、t-DCF 0.0570 を達成し、ベースラインシステムを著しく上回った。

ABSTRACT

In this study, we concentrate on replacing the process of extracting hand-crafted acoustic feature with end-to-end DNN using complementary high-resolution spectrograms. As a result of advance in audio devices, typical characteristics of a replayed speech based on conventional knowledge alter or diminish in unknown replay configurations. Thus, it has become increasingly difficult to detect spoofed speech with a conventional knowledge-based approach. To detect unrevealed characteristics that reside in a replayed speech, we directly input spectrograms into an end-to-end DNN without knowledge-based intervention. Explorations dealt in this study that differentiates from existing spectrogram-based systems are twofold: complementary information and high-resolution. Spectrograms with different information are explored, and it is shown that additional information such as the phase information can be complementary. High-resolution spectrograms are employed with the assumption that the difference between a bona-fide and a replayed speech exists in the details. Additionally, to verify whether other features are complementary to spectrograms, we also examine raw waveform and an i-vector based system. Experiments conducted on the ASVspoof 2019 physical access challenge show promising results, where t-DCF and equal error rates are 0.0570 and 2.45 % for the evaluation set, respectively.

研究の動機と目的

• 高音質な音声デバイスの進化に伴い、従来の手作業で設計された音響特徴量のリプレイ攻撃検出における有効性が低下していることに対処する。
• 高分解能スレクトログラムを用いたエンド・ツー・エンドのディープラーニングが、再再生された音声における微細な歪みをよりよく捉えられることを調査する。
• 振幅、位相、PSDといった複数のスレクトログラムタイプの相補性および追加特徴量（生波形、iベクトル）が、スプーフィング検出性能に与える影響を調査する。
• 微細な差を検出できる高分解能表現（2048 FFTバイン）および最適な窓/シフトパラメータの重要性を実証する。
• 従来の知識に依存しないデータ駆動型の強力なシステムを構築し、ASVspoof 2019 フェイズ・アクセスチャレンジで最先端の性能を達成する。

提案手法

• 2048 FFTバインの高分解能スレクトログラムを、畳み込み層、残差ブロック、ゲート付き再帰ユニット（GRUs）、全結合層から構成されるエンド・ツー・エンドDNNアーキテクチャに直接入力する。
• 補完的スレクトログラム表現の検討：振幅（|X|）、位相（arg(X)）、パワースペクトル密度（PSD）を用い、信号の多様な特性を捉える。
• モデルレベルおよびスコアレベルのアンサンブル戦略を適用し、複数のスレクトログラムベースのモデルを統合。スコアレベルの統合が顕著な性能向上を示した。
• 生波形およびiベクトルを追加の入力モodalitiyとして統合し、スレクトログラム特徴量と補完的な表現的強みを活用する。
• 微細なリプレイアーティファクトへの検出感度を最大化するため、窓長およびホップサイズ（例：50ms窓、20msシフト）を最適化する。
• ASVspoof 2019 フェイズ・アクセスチャレンジデータセット上でt-DCFおよびEERを評価指標として用い、多様なリプレイ設定下でのシステムの頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 高分解能スレクトログラムで訓練されたエンド・ツー・エンドDNNは、従来の手作業特徴量ベースのシステムを上回る性能を発揮できるか？
• RQ2 振幅に加えて、補完的スレクトログラム特徴量（振幅、位相、PSD）を組み込むことで、単一の振幅特徴量に比べて検出性能が向上するか？
• RQ3 スレクトログラムの分解能（例：2048 FFTバイン）が、微細なリプレイアーティファクトの検出に与える影響は何か？
• RQ4 生波形およびiベクトルは、スレクトログラムと比較して、スプーフィング検出においてどの程度補完的情報を提供するか？
• RQ5 特に攻撃者から話者までの距離や再生デバイスの品質の変動に対して、提案されたエンド・ツー・エンドシステムはどの程度頑健か？

主な発見

• 高分解能スレクトログラム（2048 FFTバイン）を用いた本手法のエンド・ツー・エンドDNNは、ASVspoof 2019の評価セットで等誤り率（EER）2.45%、t-DCF 0.0570を達成し、ベースラインのCQCC-GMMシステム（EER: 11.04%, t-DCF: 0.2454）を著しく上回った。
• 7つのスレクトログラムベースのモデルのスコアレベルアンサンブルにより、EERは1.05%まで低下し、スコアレベルの統合がモデルレベルの統合よりも効果的であることが示された。
• 主システムに生波形およびiベクトル特徴量を統合することで、EERはさらに0.96%まで低下し、これらがスレクトログラム表現と補完的であることが確認された。
• 2048バインの高分解能スレクトログラムに50ms窓・20msシフトを適用した場合のEERは1.76%であったが、30ms窓・10msシフトではEERが3.07%に上昇し、窓およびシフトパラメータが性能に顕著に影響することが実証された。
• 主システムは、特に高品質な再生デバイスを用いた状況でも優れた頑健性を示した。この条件下では、ベースラインシステムのEERは20%を超えたが、本手法では3%未満のEERを維持した。
• 可視化結果から、本物の話者とリプレイされた話者の間で、スレクトログラムおよびPSDに微細な差が生じていることが明らかになった（例：ピンク枠内）。これは、微細なスプーフィングアーティファクトを検出するための高分解能解析の必要性を裏付けている。