[論文レビュー] WaveFake: A Data Set to Facilitate Audio Deepfake Detection

J. Howard Frank, Lea Schönherr|arXiv (Cornell University)|Nov 4, 2021

Music and Audio Processing被引用数 45

ひとこと要約

WaveFakeという、6つのアーキテクチャからのサンプルを2言語で含む大規模な音声ディープフェイクデータセットを紹介し、ベースライン検出器（GMMとRawNet2）および検出手法を導く帰属分析を提供します。

ABSTRACT

Deep generative modeling has the potential to cause significant harm to society. Recognizing this threat, a magnitude of research into detecting so-called "Deepfakes" has emerged. This research most often focuses on the image domain, while studies exploring generated audio signals have, so-far, been neglected. In this paper we make three key contributions to narrow this gap. First, we provide researchers with an introduction to common signal processing techniques used for analyzing audio signals. Second, we present a novel data set, for which we collected nine sample sets from five different network architectures, spanning two languages. Finally, we supply practitioners with two baseline models, adopted from the signal processing community, to facilitate further research in this area.

研究の動機と目的

• 音声ディープフェイクをセキュリティ上の脅威として研究する動機づけを行い、画像ベースのディープフェイクを超えるギャップを埋める。
• 複数のアーキテクチャと2言語から生成された新規音声データセットを提供し、統制された比較を可能にする。
• アーキテクチャ間の周波数特性と韻律差を特徴づけ、検出可能なアーティファクトを特定する。
• 評価を標準化し手法開発を促進するために、ベースライン分類器と帰属ツールを提供する。

提案手法

• 6つの最先端アーキテクチャを用い、2つの基準コーパス（LJSpeechとJSUT）で訓練された、117,985本の生成音声クリップ（約196時間）のデータセットを構築する。
• メルスペクトログラムと共通特徴量（MFCC、LFCC、デルタ特徴量）を抽出し、周波数領域の差異を分析する。
• 複数のデータ分割条件の下で、3つのベースライン分類器を訓練・評価する（LFCC/MFCCを用いた2つのGMMとRawNet2ニューラルネットワーク）。
• Equal Error Rate (EER) および関連分析を用いたASVspoof風の評価を採用し、アーキテクチャ間の一般化を評価する。
• BlurIG帰属を組み込み、どの音声特徴がモデル間の予測を駆動するかを検査する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャからの生成音声は、信号処理特徴量と単純な分類器を用いて実サンプルと識別できるか。
• RQ2 発生器間で周波数領域と韻律特性はどのように異なり、検出性に何を示唆するか。
• RQ3 一つのアーキテクチャで訓練された検出器は、他のアーキテクチャや言語へどの程度一般化するか。
• RQ4 実世界の状況（例：電話録音）を模擬することは、検出性能と一般化に影響を与えるか。

主な発見

• ニューラルネットワーク分類器は平均的には従来モデルより優れているが、アーキテクチャを越えた一般化設定にはロバストでない場合がある。
• LFCC特徴を用いたGMMベースの検出器は、クロスドメインのロバスト性が高く、いくつかの設定で新しいフレーズや言語への一般化がより良くなる。
• 上位周波数帯にアーキテクチャ固有のアーティファクトがあり、MelGAN系は特有のスペクトルパターンを示す傾向があり、帰属結果に影響を与える。
• 帰属分析（BlurIG）は、異なるモデルが異なる周波数帯に依存することを示し、アーキテクチャ間での一般化とロバスト性の差を説明する。
• 模擬電話通話シナリオでは、GMM検出器が場合によって非常に低いEERを達成できる一方、ニューラル検出器は苦戦することがあり、実世界での頑健性の懸念を浮き彫りにする。