[論文レビュー] AI-Synthesized Voice Detection Using Neural Vocoder Artifacts

Chengzhe Sun, Shan Jia+2 more|arXiv (Cornell University)|Apr 25, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、音声信号内のニューラルボコーダー特徴を特定することで、AI合成音声を検出する新規手法を提案する。ボコーダー識別と合成音声検出の両タスクに共通の特徴抽出器を備えたマルチタスク学習フレームワークを用いることで、特にメルガンやパラレルウェーブガンなどの未学習ボコーダーに対しても高い検出精度を達成し、学習済みボコーダーではEERが2.16%、未学習ボコーダーでは35.53%の結果を得た。

ABSTRACT

Advancements in AI-synthesized human voices have created a growing threat of impersonation and disinformation, making it crucial to develop methods to detect synthetic human voices. This study proposes a new approach to identifying synthetic human voices by detecting artifacts of vocoders in audio signals. Most DeepFake audio synthesis models use a neural vocoder, a neural network that generates waveforms from temporal-frequency representations like mel-spectrograms. By identifying neural vocoder processing in audio, we can determine if a sample is synthesized. To detect synthetic human voices, we introduce a multi-task learning framework for a binary-class RawNet2 model that shares the feature extractor with a vocoder identification module. By treating vocoder identification as a pretext task, we constrain the feature extractor to focus on vocoder artifacts and provide discriminative features for the final binary classifier. Our experiments show that the improved RawNet2 model based on vocoder identification achieves high classification performance on the binary task overall.

研究の動機と目的

• なりすましやフェイクニュースキャンペーンに使われるAI合成音声の増加する脅威に対処する。
• 統計的または手作業で設計された特徴に依存する従来の音声検出手法の限界を克服する。
• 特定で解釈可能な信号トレースとしてのニューラルボコーダー特徴を、合成音声検出の判別的特徴として活用する。
• ボコーダー識別を事前学習タスクとして用いるマルチタスク学習フレームワークにより、検出の頑健性と一般化性能を向上させる。
• 研究を支援するため、公開可能なデータセット「LibriSeVoc」を提供する。このデータセットは、合成音声におけるボコーダー特徴の検出に特化している。

提案手法

• バイナリ分類用のRawNet2モデルがボコーダー識別モジュールと前段特徴抽出器を共有するマルチタスク学習フレームワークを提案する。
• 特徴抽出器がボコーダーレベルの特徴に集中するよう、ボコーダー識別を事前学習タスクとして活用する。
• 6つの最先端ニューラルボコーダーから生成された自己ボコーディング音声を含む、新たに構築されたデータセット「LibriSeVoc」を用いてモデルを学習する。
• リサンプリングやバックグラウンドノイズ追加を含むデータオーグメンテーションを適用し、後処理に対する頑健性を評価する。
• 入力表現としてメルスペクトログ램を用い、エンドツーエンドの特徴学習にRawNet2アーキテクチャを活用する。
• バイナリ分類およびボコーダー識別タスクの両方に交差エントロピー損失を最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルボコーダー特徴は、AI合成音声を検出するための信頼性が高く、解釈可能な特徴として有効であるか？
• RQ2 ボコーダー識別を事前学習タスクとして用いるマルチタスク学習アプローチは、合成音声検出性能の向上にどの程度有効か？
• RQ3 本手法は、学習データに含まれない未学習ボコーダーに対し、どの程度一般化できるか？
• RQ4 リサンプリングやバックグラウンドノイズといった一般的な音声後処理操作に対して、検出モデルはどの程度頑健か？
• RQ5 本手法は、ドメイン内およびクロスデータセット評価の両方で、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案手法は、元のLibriSeVocテストセットで等誤差率（EER）が0.13%に達し、高い検出精度を示した。
• WaveFakeデータセットでは、全体のEERが26.95%であったが、学習済みボコーダー（メルガン、パラレルウェーブガン）では2.16%にとどまり、熟練モデルに対して優れた性能を示した。
• 後処理に対する頑健性が向上し、リサンプリングとノイズを含む劣化テストセットではEERが0.13%（クリーンデータ）から2.73%に上昇するにとどまり、良好な耐性を示した。
• 未学習ボコーダーでは性能が劣化し、WaveFakeの未学習ボコーダーではEERが35.53%に上昇した。これは一般化の限界を示している。
• マルチタスク学習戦略により、特徴抽出器が判別的ボコーダー特徴に集中するよう制約され、ベースラインのRawNet2に比べ検出性能が向上した。
• LibriSeVocデータセットは多様なボコーダー特徴を的確に捉えており、ボコーダー固有の信号トレースに関する制御された研究と学習を可能にした。