[論文レビュー] RawBoost: A Raw Data Boosting and Augmentation Method applied to Automatic Speaker Verification Anti-Spoofing

Hemlata Tak, Madhu R. Kamble+3 more|arXiv (Cornell University)|Nov 8, 2021

Speech and Audio Processing被引用数 8

ひとこと要約

RawBoost は、音声認識のための生波形ベースの自動スプーフィング検出におけるデータ拡張手法であり、電話回線に起因する歪みを再現するために、線形および非線形の畳み込みノイズ、インパulse信号に依存するノイズ、定常的信号に依存しないノイズを適用する。外部データやモデルレベルの変更を必要とせず、最先端のエンドツーエンドシステムの min t-DCF を相対的に 27% 向上させる。

ABSTRACT

This paper introduces RawBoost, a data boosting and augmentation method for the design of more reliable spoofing detection solutions which operate directly upon raw waveform inputs. While RawBoost requires no additional data sources, e.g. noise recordings or impulse responses and is data, application and model agnostic, it is designed for telephony scenarios. Based upon the combination of linear and non-linear convolutive noise, impulsive signal-dependent additive noise and stationary signal-independent additive noise, RawBoost models nuisance variability stemming from, e.g., encoding, transmission, microphones and amplifiers, and both linear and non-linear distortion. Experiments performed using the ASVspoof 2021 logical access database show that RawBoost improves the performance of a state-of-the-art raw end-to-end baseline system by 27% relative and is only outperformed by solutions that either depend on external data or that require additional intervention at the model level.

研究の動機と目的

• 電話通話シナリオにおけるスプーフィング検出のためのドメイン内トレーニングデータの不足に取り組むこと。ここで、トレーニングデータにエンコーディングや伝送による影響が欠落している。
• エンドツーエンドの生波形モデルと互換性があるデータ拡張技術を開発すること。このモデルは、SpecAugment のようなスペクトルドメインの拡張手法を用いることができない。
• ノイズ記録やインパulse応答などの外部データソースに依存せずに、未知のエンコーディングや伝送歪みに対するスプーフィング検出のロバスト性を向上させること。
• データ、アプリケーション、モデルに依存しない方法を設計し、同様の不快要因を有する他の音声分類タスクへの広範な適用性を実現すること。
• コーデック固有のデータに依存せず、モデルレベルの干渉なしに最先端のシステムと同等の性能向上を達成すること。

提案手法

• 電話通話コーデックや伝送経路に起因する周波数応答歪みを再現するために、線形および非線形の畳み込みノイズを適用する。
• クリッピングやアンプの飽和といった非線形歪みをモデル化するため、インパulse信号に依存する加法的ノイズを導入する。
• 背景環境ノイズを再現するために、定常的信号に依存しない加法的ノイズを追加するが、ノイズフリーな LA シナリオでは限定的な効果を示す。
• これらの3種類のノイズを独立して組み合わせ、生波形から直接拡張されたトレーニングサンプルを生成する。
• ノイズ記録やインパulse応答などの追加データソースを一切使用せず、既存のトレーニング発話のみを用いる。
• モデルアーキテクチャや損失関数の変更なしに、トレーニング中に拡張パイプラインを適用することで、モデルに依存しない運用を実現する。

Fig. 1 : Proposed RawBoost data augmentation framework including: (1) linear and non-linear convolutive noise; (2) impulsive signal-dependent additive noise; (3) stationary signal-independent additive noise. In (1), the profile in each rectangular box shows the frequency response for first harmonic

実験結果

リサーチクエスチョン

• RQ1 外部データソースを用いずに、生波形レベルのデータ拡張手法が電話通話シナリオにおけるスプーフィング検出性能を向上させられるか？
• RQ2 RawBoost は未知のエンコーディングや伝送歪みの影響を、スプーフィング検出システムに及ぼす影響をどれほど軽減できるか？
• RQ3 外部データやモデルレベルの変更に依存する最先端のシステムと比較して、RawBoost は性能を上回るか、同等の性能を達成できるか？
• RQ4 各ノイズ成分（線形／非線形畳み込み、インパulse、定常的）が全体の性能向上に果たす相対的寄与度はどの程度か？
• RQ5 スペクトルドメインの拡張手法と互換性のないエンドツーエンドの生波形モデルに対しても、RawBoost は効果的に適用可能か？

主な発見

• RawBoost は、生波形エンドツーエンドベースラインシステムの min t-DCF を相対的に 27% 向上させ、0.4257 から 0.3099 に低下させた。
• 最も優れた設定は、線形／非線形畳み込みノイズとインパulse信号に依存する加法的ノイズの組み合わせ（RawBoost (1)+(2)）であり、プールド min t-DCF は 0.3099、EER は 5.31% を達成した。
• 他の技術と組み合わせた場合、定常的信号に依存しないノイズの追加は性能向上をもたらさず、ASVspoof 2021 LA データセットに環境ノイズが欠落しているためと推定される。
• RawBoost は、すべての7つの評価条件（C1–C7）においてベースラインを上回り、未知のエンコーディングや伝送影響に対して一貫したロバスト性を示した。
• トップパフォーマンスを示す単一システムの中では、RawBoost で強化された RawNet2 は min t-DCF で3位（0.3099）を記録し、外部データやモデル変更なしに生波形を用いた唯一のシステムであった。
• RawBoost は、外部データ（例：MUSAN）やモデルレベルの干渉（例：損失関数の変更）を用いるシステムと同等の性能を達成しながら、よりシンプルで汎用性の高いアプローチを実現した。

Fig. 2 : Magnitude response of a multi-band filter with $N_{\textrm{notch}}=3$ notch filters centered at normalised frequencies of 0.01, 0.35 and 0.45, bandwidths 0.06, 0.03 and 0.02 and number of filter coefficients 30, 94 and 52.