[論文レビュー] TranssionADD: A multi-frame reinforcement based sequence tagging model for audio deepfake detection

Jie Liu, Zhiba Su+6 more|arXiv (Cornell University)|Jun 27, 2023

Speech and Audio ProcessingComputer Science被引用数 3

ひとこと要約

TranssionADDは、音声ディフェイク検出のための新規なマルチフレーム強化ベースのシーケンスタギングモデルを提案する。このタスクはフレーム単位のラベル付けとして定式化され、改ざんされた領域を局所化することを目的としている。RCNN-BLSTM特徴抽出、マルチフレーム検出、データ拡張、および孤立フレームペナルティ損失を統合することで、本システムはADD 2023の改ざん領域位置特定トラックで2位を達成し、優れたロバストネスと外れ値処理能力を示した。

ABSTRACT

Thanks to recent advancements in end-to-end speech modeling technology, it has become increasingly feasible to imitate and clone a user`s voice. This leads to a significant challenge in differentiating between authentic and fabricated audio segments. To address the issue of user voice abuse and misuse, the second Audio Deepfake Detection Challenge (ADD 2023) aims to detect and analyze deepfake speech utterances. Specifically, Track 2, named the Manipulation Region Location (RL), aims to pinpoint the location of manipulated regions in audio, which can be present in both real and generated audio segments. We propose our novel TranssionADD system as a solution to the challenging problem of model robustness and audio segment outliers in the trace competition. Our system provides three unique contributions: 1) we adapt sequence tagging task for audio deepfake detection; 2) we improve model generalization by various data augmentation techniques; 3) we incorporate multi-frame detection (MFD) module to overcome limited representation provided by a single frame and use isolated-frame penalty (IFP) loss to handle outliers in segments. Our best submission achieved 2nd place in Track 2, demonstrating the effectiveness and robustness of our proposed system.

研究の動機と目的

• ノイズが多く、変動のあるデータを伴う現実世界のシナリオにおいて、改ざんされた音声セグメントを検出・局所化する課題に対処すること。
• 時系列音声データにおける外れ値に対して、モデルの汎化性能とロバストネスを向上させること。
• 二値分類を越えて、偽造領域を正確に局所化できるシーケンスタギングフレームワークを開発すること。
• 孤立または断片的なフレーム予測による誤検出を減らすために、新しい損失関数を導入すること。

提案手法

• モデルは音声ディフェイク検出をシーケンスタギングタスクとして扱い、各音声フレームに対して（本物／偽物）のラベルを予測し、同じラベルが連続するフレームを統合することで改ざんセグメントを特定する。
• メルスペクトログ램から空間的および時間的特徴を抽出するために、RCNN-BLSTMバックボーンを採用し、スペクトル的および順序的パターンを捉える。
• マルチフレーム検出（MFD）モジュールは、複数の隣接フレームにわたる情報を集約することで、局所表現を強化し、ノイズに対するロバストネスを向上させる。
• トレーニングの前後および中でデータ拡張が適用され、ボイスコンバージョン、ピッチシフト、およびランダムノイズ注入（SNR < 15 dB）を含むことで、汎化性能を向上させる。
• 孤立フレームペナルティ（IFP）損失は、6フレーム未満の孤立フレームが偽物と予測された場合にペナルティを与えることで、外れ値による誤検出を低減する。
• 最終スコアは、30％の文単位の正答率（A_sentence）と70％のセグメント単位のF1スコア（F1_segment）の加重平均であり、外れ値処理能力を評価するための補助的なiso-rate指標も併用される。

Figure 1: Overview of our proposed system. Subfigure (a) illustrates the overall structure of our model. Subfigure (b) is the RCNN encoder. Subfigure (c) shows the multi-frame detection module (MFD).

実験結果

リサーチクエスチョン

• RQ1 シーケンスタギングアプローチは、従来の二値分類を上回って、改ざんされた音声領域の局所化を可能にするか？
• RQ2 マルチフレーム特徴集約は、ノイズや外れ値フレームに対してモデルのロバストネスを向上させるのにどの程度有効か？
• RQ3 事前学習とトレーニング中のデータ拡張を組み合わせた手法は、音声ディフェイク検出におけるモデルの汎化性能をどの程度向上させるか？
• RQ4 孤立フレームペナルティ損失は、断片的または孤立したフレーム予測による誤検出を効果的に低減できるか？
• RQ5 本手法は、検出精度と外れ値耐性の両面でベースラインモデルと比較してどの程度優れているか？

主な発見

• TranssionADDは、ADD 2023の改ざん領域位置特定トラックで2位を達成し、ベースラインのRCNN-BLSTMモデルおよび変更版のRawNet2モデルを上回った。
• ベースライン（0.152）と比較して、本モデルは顕著に低いiso-rate（0.085）を達成し、孤立または断片的な予測の処理能力が優れていることを示した。
• 孤立フレームペナルティ（IFP）損失は、ベースラインと比較してiso-rateを44％低減させ、外れ値予測の抑制効果が明確に示された。
• アブレーションスタディの結果、MFDモジュールを削除すると検出スコアに顕著な低下が見られ、文脈的特徴学習におけるその重要性が裏付けられた。
• 事前学習とトレーニング中のデータ拡張（BefAug & InAug）を組み合わせた手法が、最も大きな性能向上をもたらした。特に拡張済みの開発およびテストセットにおいて顕著な向上が観察された。
• 本システムは最終的に、0.3×A_sentence + 0.7×F1_segmentの加重スコアを達成し、全参加提出物の中で最高のF1_segmentおよびA_sentenceスコアを記録した。