[論文レビュー] UR Channel-Robust Synthetic Speech Detection System for ASVspoof 2021

Xinhui Chen, You Zhang+2 more|arXiv (Cornell University)|Jul 26, 2021

Speech Recognition and Synthesis参考文献 32被引用数 4

ひとこと要約

本論文は、ASVspoof 2021 チャレンジ向けにUR-AIRシステムを提示する。このシステムは、コーデックおよびインパulse応答の拡張を用いたチャネルに強い合成音声検出フレームワークを導入し、一般化性能を向上させる。ECAPA-TDNNを用い、ワンクラス学習とモデルアンサンブルを適用することで、LAトラックでEER 5.46%、min-tDCF 0.3094を達成し、DFトラックでEER 20.33%を達成した。

ABSTRACT

In this paper, we present UR-AIR system submission to the logical access (LA) and the speech deepfake (DF) tracks of the ASVspoof 2021 Challenge. The LA and DF tasks focus on synthetic speech detection (SSD), i.e. detecting text-to-speech and voice conversion as spoofing attacks. Different from previous ASVspoof challenges, the LA task this year presents codec and transmission channel variability, while the new task DF presents general audio compression. Built upon our previous research work on improving the robustness of the SSD systems to channel effects, we propose a channel-robust synthetic speech detection system for the challenge. To mitigate the channel variability issue, we use an acoustic simulator to apply transmission codec, compression codec, and convolutional impulse responses to augmenting the original datasets. For the neural network backbone, we propose to use Emphasized Channel Attention, Propagation and Aggregation Time Delay Neural Networks (ECAPA-TDNN) as our primary model. We also incorporate one-class learning with channel-robust training strategies to further learn a channel-invariant speech representation. Our submission achieved EER 20.33% in the DF task; EER 5.46% and min-tDCF 0.3094 in the LA task.

研究の動機と目的

• 未観測の不正およびチャネル条件下での合成音声検出（SSD）システムにおける一般化ギャップを解消すること。
• 不正防止システムにおける伝送および音声圧縮のばらつきに対する耐性を向上させること。
• データ拡張およびトレーニング戦略を通じて、チャネル不変な音声表現を開発すること。
• ASVspoof 2021 チャレンジのLAおよびDFトラックで最先端の性能を達成すること。
• ECAPA-TDNNの不正防止タスクへの適応可能性と、モデルアンサンブルによる性能向上の有効性を調査すること。

提案手法

• 伝送コーデック（固定電話、携帯電話、VoIP）、圧縮コーデック（MP3、AAC）、デバイスインパulse応答（IR）を用いて、音声シミュレータを適用し、トレーニングデータを拡張する。
• マルチステージのデータ拡張パイプラインを採用：まずコーデック劣化を適用し、その後、必要に応じてデバイスIRで畳み込み処理を実施して、実世界のチャネル効果を模擬する。
• 主なニューラルネットワークバックボーンとしてECAPA-TDNNを採用し、異なるチャネル次元（C=512、1024）およびアーキテクチャの変更を施したバリアントを用いる。
• チャネルに強いトレーニングと組み合わせたワンクラス学習を導入し、多様なチャネル条件下で不変な表現を学習する。
• 複数のECAPA-TDNNバリアントを統合して検出性能を向上させ、アンサンブル学習によりより良い一般化性能を得る。
• 最終提出前に、拡張された開発セットを用いてmin-tDCFおよびEER指標を最適化する。

実験結果

リサーチクエスチョン

• RQ1 コーデックおよびインパulse応答に基づくデータ拡張は、未観測のチャネル条件下でのSSD一般化性能向上にどの程度効果的か？
• RQ2 ECAPA-TDNNは不正防止タスクに効果的に適応可能か？また、モデルサイズの拡大に伴いそのアーキテクチャはどのようにスケーリングするか？
• RQ3 ワンクラス学習とチャネルに強いトレーニングを組み合わせることで、チャネルばらつきに対するモデルの不変性はどの程度向上するか？
• RQ4 モデルアンサンブルは、DFおよびLAトラックにおける未観測の不正および圧縮条件下での性能向上にどの程度寄与するか？
• RQ5 過大なパrameter化は、特に過学習の観点から、不正防止タスクにおけるECAPA-TDNNの性能にどのような影響を与えるか？

主な発見

• UR-AIRシステムはLAトラックでEER 5.46%、min-tDCF 0.3094を達成し、すべてのベースラインシステムを上回った。
• DFトラックではEER 20.33%を達成し、一般的な音声圧縮条件下でも優れた性能を示した。
• モデルアンサンブルは検出性能を顕著に向上させ、拡張された開発セットにおいて、すべての個別モデルを上回る性能を示した。
• より小さいECAPA-TDNNバリアント（C=512）が、より大きなモデル（C=1024）を上回った。これは、パrameter数が多いにもかかわらず、大きなモデルで過学習が生じていたことを示唆している。
• ワンクラス学習とチャネルに強いトレーニング戦略の統合により、コーデックおよびチャネル条件の多様性にわたる一貫性ある性能が得られた。
• データ拡張におけるデバイスインパulse応答の使用により、ASVspoof 2019トレーニングセットに起因するデータセットバイアスが効果的に低減された。