[論文レビュー] The PartialSpoof Database and Countermeasures for the Detection of Short Fake Speech Segments Embedded in an Utterance

Lin Zhang, Xin Wang+3 more|arXiv (Cornell University)|Apr 11, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、本物の発話文に埋め込まれた短い偽の音声セグメントを検出するための新しい対策手法（CM）と、それを支える新しいデータベース「PartialSpoof」を紹介する。この手法は、『部分的スプーフィング』（Partial Spoof, PS）と呼ばれる新たなスプーフィングのシナリオに対応する。CMは自己教師あり学習（SSL）モデルを強化された特徴抽出器として活用し、20–640 ms の複数の時間分解能で同時に学習を実施する。この際、セグメントレベルと発話レベルの両方のラベルを用いる。その結果、発話レベルでの等誤り率（EER）が、PS ケースで 0.77%、LA ケースで 0.90% に達し、現在の最先端性能を達成した。

ABSTRACT

Automatic speaker verification is susceptible to various manipulations and spoofing, such as text-to-speech synthesis, voice conversion, replay, tampering, adversarial attacks, and so on. We consider a new spoofing scenario called "Partial Spoof" (PS) in which synthesized or transformed speech segments are embedded into a bona fide utterance. While existing countermeasures (CMs) can detect fully spoofed utterances, there is a need for their adaptation or extension to the PS scenario. We propose various improvements to construct a significantly more accurate CM that can detect and locate short-generated spoofed speech segments at finer temporal resolutions. First, we introduce newly developed self-supervised pre-trained models as enhanced feature extractors. Second, we extend our PartialSpoof database by adding segment labels for various temporal resolutions. Since the short spoofed speech segments to be embedded by attackers are of variable length, six different temporal resolutions are considered, ranging from as short as 20 ms to as large as 640 ms. Third, we propose a new CM that enables the simultaneous use of the segment-level labels at different temporal resolutions as well as utterance-level labels to execute utterance- and segment-level detection at the same time. We also show that the proposed CM is capable of detecting spoofing at the utterance level with low error rates in the PS scenario as well as in a related logical access (LA) scenario. The equal error rates of utterance-level detection on the PartialSpoof database and ASVspoof 2019 LA database were 0.77 and 0.90%, respectively.

研究の動機と目的

• 短いセグメントのみが合成または変換され、本物の発話文に埋め込まれるという、新たなスプーフィング脅威「Partial Spoof」に対処すること。
• 細かい時間分解能での高精度な局在化を可能にする、これらの短いスプーフィングセグメントを検出できる対策手法を開発すること。
• 6つの時間分解能（20–640 ms）にわたるセグメントレベルのアノテーションを備えた、新たなデータベース「PartialSpoof」を構築し、細粒度のスプーフィング検出研究を支援すること。
• 強化されたSSLベースの特徴抽出器を用いて、発話レベルと複数のセグメントレベルのラベルを同時に学習することで、検出性能を向上させること。

提案手法

• マルチリゾリューションのラベルを用いて、同時に発話レベルとセグメントレベルのスプーフィング検出を実行する、深層学習ベースの新規対策手法を提案する。
• wav2vec 2.0、W2V2-Large、HuBERT、mBART などの自己教師あり事前学習モデルを、より優れた表現学習を実現するための強化されたフロントエンドとして採用する。
• 同じモデルを、20、40、80、160、320、640 ms の6つの時間分解能のセグメントレベルラベルで学習するマルチリゾリューション学習戦略を導入し、細粒度な局在化を可能にする。
• 複数の分解能からの予測を集約するニューラルアーキテクチャを設計し、学習中に発話レベルとセグメントレベルの両方の監視信号を活用する。
• ロバストネスと一般化性能を向上させるために、交差エントロピーとコントラスト学習の両方の目的関数を組み合わせて使用する。
• データ拡張とクラスの不均衡補正技術を適用し、不均衡なスプーフィングデータに対処する。

実験結果

リサーチクエスチョン

• RQ1 複数の時間分解能で学習された対策手法は、従来の手法よりも短いスプーフィングセグメントをより正確に検出できるか？
• RQ2 セグメントレベルと発話レベルの両方のラベルを統合することで、Partial Spoofシナリオにおける検出性能がどのように向上するか？
• RQ3 自己教師あり事前学習モデルを用いることで、リソースが限られた環境や細粒度の設定において、スプーフィング検出性能がどの程度向上するか？
• RQ4 特に未知のスプーフィングシステムに対して、モデルの一般化性能はどの程度であるか？
• RQ5 セグメントレベル検出において、開発セットと評価セットの間の性能差の主な要因は何か？

主な発見

• 提案手法は、PartialSpoofの評価セットで発話レベル検出において等誤り率（EER）0.77% を達成し、PSシナリオにおける発話レベル検出で新たな最先端性能を樹立した。
• ASVspoof 2019 LAデータベースでもEER 0.90% を達成し、強力な一般化性能を示し、他の手法を上回った。
• セグメントレベル検出において、開発セットと評価セットの性能差は、主により困難なスプーフィングシステム（例：A15）と、評価セグメントにおける連結境界の数の減少に起因している。
• 1つずつ除外するアブレーションスタディの結果、特にA15のような未知のスプーフィングシステムを除外するとEERが著しく低下し、それらが極めて強力な攻撃であることが示された。
• マルチリゾリューション学習によりモデルの性能が向上し、ターゲット検出タスクの分解能に一致するセグメントレベルラベルが与えられると、性能が向上することが確認された。
• クロスシナリオ学習の結果、PartialSpoofデータはLAシナリオでも性能向上に寄与しており、新規データベースの相補的な利点が示された。