[論文レビュー] MLAAD: The Multi-Language Audio Anti-Spoofing Dataset

Nicolas M. Müller, Piotr Kawa+7 more|arXiv (Cornell University)|Jan 17, 2024

Speech Recognition and Synthesis被引用数 5

ひとこと要約

MLAAD は 23 言語、160.1 時間の大規模な多言語音声のなりすまし対策データセットを、19 のアーキテクチャに跨る 52 の TTS モデルを用いて作成し、最先端検出器のデータセット間一般化の改善を示します。

ABSTRACT

Text-to-Speech (TTS) technology offers notable benefits, such as providing a voice for individuals with speech impairments, but it also facilitates the creation of audio deepfakes and spoofing attacks. AI-based detection methods can help mitigate these risks; however, the performance of such models is inherently dependent on the quality and diversity of their training data. Presently, the available datasets are heavily skewed towards English and Chinese audio, which limits the global applicability of these anti-spoofing systems. To address this limitation, this paper presents the Multi-Language Audio Anti-Spoofing Dataset (MLAAD), version 9, created using 140 TTS models, comprising 78 different architectures, to generate 678,3 hours of synthetic voice in 51 different languages. We train and evaluate three state-of-the-art deepfake detection models with MLAAD and observe that it demonstrates superior performance over comparable datasets like InTheWild and Fake-Or-Real when used as a training resource. Moreover, compared to the renowned ASVspoof 2019 dataset, MLAAD proves to be a complementary resource. In tests across eight datasets, MLAAD and ASVspoof 2019 alternately outperformed each other, each excelling on four datasets. By publishing MLAAD and making a trained model accessible via an interactive webserver, we aim to democratize anti-spoofing technology, making it accessible beyond the realm of specialists, and contributing to global efforts against audio spoofing and deepfakes.

研究の動機と目的

• 多言語リソースを導入することにより、音声のなりすまし対策データセットにおける言語バイアスに対処する。
• 多様な言語と TTS アーキテクチャを網羅する大規模な合成音声データセットを作成する。
• MLAAD で訓練した際の主要なディープフェイク検出モデルのデータセット間一般化を評価する。
• MLAAD を確立されたデータセット（例：ASVspoof 系列、InTheWild、FakeOrReal）と比較し、相補的価値を評価する。
• MLAAD と訓練済みモデルを公開アクセス可能にし、なりすまし対策技術の普及を促進する。

提案手法

• 19 のアーキテクチャに跨る 52 の TTS モデルを用いた多言語合成音声を追加するために M-AILABS Speech Dataset を拡張する。
• 各言語–TTS ペアについて 1000 サンプルを合成し（必要に応じて transcripts を翻訳）、偽データとしてラベルを付与する。元の M-AILABS サンプルは bona-fide データとして使用する。
• 出力を meta.csv の記述子で格納し、path, original_file, language, is_original_language, duration, training_data, model_name, architecture, transcript を詳述する。
• 22.05 kHz, 16-bit WAV にリサンプルする。各言語の元言語サンプルには Griffin Lim 再合成を含める。
• データ増強を適用：ノイズオーバーレイ（RIRS Noises、ESC-50、MUSAN）、およびコーデック（ulaw、alaw、mp3、aac、flac、opus、ac3）を確率的に適用し、ショートカットを抑制する。
• MLAAD および他のデータセットで、3 つの最先端デテクター（RawGat-ST、SSL-W2V2、WhisperDF）を訓練・評価する。主指標は accuracy、繰り返しは5回行う。

実験結果

リサーチクエスチョン

• RQ1 MLAAD は音声のなりすまし対策データセットにおける言語バイアスを緩和し、検出器の多言語間一般化を改善できるか。
• RQ2 MLAAD での訓練は、cross-dataset 評価において ASVspoof 2019、InTheWild、FakeOrReal および他のデータセットと比較してどうか。
• RQ3 多言語データセットは、英語や中国語中心のデータセットより検出器にとって有害となるショートカット特徴を少なくするか。
• RQ4 跨データセット性能の相対的補完価値として MLAAD の位置づけは ASVspoof 2019 に対してどうか。
• RQ5 合成品質が各言語で ASR およびなりすまし対策の下流パフォーマンスにどう影響するか。

主な発見

• MLAAD（160.1 時間、23 言語）は、8 個のテストセットにわたり最先端モデルが競合する跨データセット性能を実現する。
• 単一の訓練データセットが一様に他を上回るわけではなく、MLAAD と ASVspoof19 はそれぞれいくつかのクロスデータセットケースで最適で、相補的な強みがある。
• MLAAD で訓練したモデルは、パフォーマンスが極端に低下するケースが少なく（スコアが 50 を下回ることが少ない）、他データセットと比較して学習のショートカットが少ないことを示唆する。
• クロスデータセット評価は転移性に大きなばらつきを示す。MLAAD は一般に InTheWild や FakeOrReal などの比較対象と比べ跨データセット一般化を改善する。
• 品質評価によると、合成音声は多くの言語で原文の transcripts に近く、ASCII 以外の文字を含む言語では edit distance が大きくなる傾向があり、言語カバーのギャップを強調する。