[論文レビュー] RW-Resnet: A Novel Speech Anti-Spoofing Model Using Raw Waveform

Youxuan Ma, Zongze Ren+1 more|arXiv (Cornell University)|Aug 12, 2021

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

本論文では、生波形を直接入力として使用する新規のエンドツーエンド音声偽装検出モデルRW-ResNetを提案する。本モデルは、学習可能な時間周波数表現であるResWavegramを抽出するための新規なConv1D Resblockを採用している。ASVspoof2019 LAコーパスにおいて、EERが2.98%、t-DCFが0.0817という最先端の性能を達成しており、残差接続による特徴抽出の強化と音声情報の効果的保持により、従来手法を上回っている。

ABSTRACT

In recent years, synthetic speech generated by advanced text-to-speech (TTS) and voice conversion (VC) systems has caused great harms to automatic speaker verification (ASV) systems, urging us to design a synthetic speech detection system to protect ASV systems. In this paper, we propose a new speech anti-spoofing model named ResWavegram-Resnet (RW-Resnet). The model contains two parts, Conv1D Resblocks and backbone Resnet34. The Conv1D Resblock is based on the Conv1D block with a residual connection. For the first part, we use the raw waveform as input and feed it to the stacked Conv1D Resblocks to get the ResWavegram. Compared with traditional methods, ResWavegram keeps all the information from the audio signal and has a stronger ability in extracting features. For the second part, the extracted features are fed to the backbone Resnet34 for the spoofed or bonafide decision. The ASVspoof2019 logical access (LA) corpus is used to evaluate our proposed RW-Resnet. Experimental results show that the RW-Resnet achieves better performance than other state-of-the-art anti-spoofing models, which illustrates its effectiveness in detecting synthetic speech attacks.

研究の動機と目的

• 自動発話者認証（ASV）システムに対する合成音声攻撃の増加する脅威に対処すること。
• 位相情報やその他の重要な音声情報を失う可能性があるLFCC や CQCC などの手作業特徴の限界を克服すること。
• 中間の特徴抽出を経ずに生波形を直接処理するエンドツーエンドのディープラーニングモデルを開発すること。
• 生音声からニューラルネットワークベースの学習可能な時間周波数表現を導入することで、偽物対本物音声の検出を向上させること。
• ASVspoof2019ロジカルアクセスベンチマークで最先端の性能を達成すること。

提案手法

• モデルは生波形を入力とし、[-1, 1]に正規化した後、スタックされたConv1D Resblockを経由して、学習可能な時間周波数表現であるResWavegramを生成する。
• 各Conv1D Resblockは、拡張率が1および2の2つの畳み込み層、ReLU活性化関数、バッチ正則化、および訓練の安定化と特徴抽出の強化を目的とした残差接続から構成される。
• ResWavegram特徴は、複数のConv1D Resblockをスタックすることで得られ、生波形内の長期的および短期的時間パターンを同時に捉える。
• 抽出されたResWavegramは、最終的な偽物または本物の音声分類のため、ResNet34バックボーンに供給される。
• モデル全体は、手作業による特徴工学的処理を一切行わず、エンドツーエンドで訓練される。
• 本手法は、FFTベースの特徴に内在する位相損失を回避し、波形ドメインから直接表現を学習することで、特徴の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 生波形に直接学習させたディープラーニングモデルは、LFCC や CQCC などの手作業特徴に依存する従来の偽装検出システムを上回ることができるか？
• RQ2 1次元畳み込みブロックに残差接続を導入することで、偽装検出のための生音声からの特徴抽出が向上するか？
• RQ3 生波形から導出される学習可能な時間周波数表現（ResWavegram）は、標準的なスペクトログラムに類似した特徴を上回る性能を達成できるか？
• RQ4 エンドツーエンドで訓練された生波形ベースのモデルは、特徴工学的処理を用いたシステムと比較して、ASVspoof2019 LAデータセットにおけるEERおよびt-DCFの観点で優れているか？
• RQ5 提案されたRW-ResNetモデルは、ASVspoof2019チャレンジにおけるトップクラスの統合システムと同等か、それ以上に優れているか？

主な発見

• RW-ResNetモデルは、ASVspoof2019 LA評価セットにおいて2.98%の等誤差率（EER）を達成し、最良のベースライン（LFCC-GMM）の8.09% EERを顕著に上回った。
• モデルはtandem検出コスト関数（t-DCF）を0.0817に達成し、最良のベースライン（0.212 t-DCF）と比較して61%の改善を示した。
• Conv1D Resblockから得られるResWavegram特徴は、すべての設定においてベースラインのWavegram特徴と比較してEERを約12%改善した。
• ResWavegram-M設定（C1,C2,C3）=（64,128,128）が最良の性能を示し、EERが2.98%、t-DCFが0.0817を達成した。
• 提案されたRW-ResNetモデルは、ASVspoof2019チャレンジに掲載されたすべての単一システムベースラインを上回った。S3-RawNet2（5.13% EER）やLFCC-Siamese CNN（3.79% EER）を含む。
• 単一システムであるにもかかわらず、ASVspoof2019チャレンジの上位5つの統合システムを上回り、トップランクのT05システムを除いてすべてを上回った。