[論文レビュー] The DKU-DUKEECE System for the Manipulation Region Location Task of ADD 2023

Zexin Cai, Weiqing Wang+2 more|arXiv (Cornell University)|Aug 20, 2023

Music and Audio ProcessingComputer Science被引用数 3

ひとこと要約

本論文では、波形境界検出モデル、フレームレベルの偽装防止検出器、VAEベースの外れ値検出器を統合することで、Audio Deepfake Detection Challenge 2023 Track 2で最先端の性能を達成したDKU-DUKEECEシステムを提示する。このシステムは、文単位の正答率82.23%、F₁スコア60.66%を達成し、総合的なADDスコア0.6713を記録して1位を獲得した。

ABSTRACT

This paper introduces our system designed for Track 2, which focuses on locating manipulated regions, in the second Audio Deepfake Detection Challenge (ADD 2023). Our approach involves the utilization of multiple detection systems to identify splicing regions and determine their authenticity. Specifically, we train and integrate two frame-level systems: one for boundary detection and the other for deepfake detection. Additionally, we employ a third VAE model trained exclusively on genuine data to determine the authenticity of a given audio clip. Through the fusion of these three systems, our top-performing solution for the ADD challenge achieves an impressive 82.23% sentence accuracy and an F1 score of 60.66%. This results in a final ADD score of 0.6713, securing the first rank in Track 2 of ADD 2023.

研究の動機と目的

• 部分的に偽装された音声クリップにおける改ざん領域を特定する課題に取り組むこと。これは単純な真正性分類よりも複雑な課題である。
• 未知のドメインの音声データにおいて、スプライシングの境界を特定し、偽物のセグメントを同定できる耐障害性の高いシステムを開発すること。
• 特定の合成システムに訓練された既存の偽装防止モデルの一般化の限界を克服するため、相補的な検出メカニズムを統合すること。
• 教師あり学習と自己教師あり学習を組み合わせ、外れ値検出を併用することで、未観測でドメインが不一致となるデータにおける検出性能を向上させること。
• ヒューリスティックベースのスコア戦略を用いて複数のモデルを統合することで、ADD 2023チャレンジで最良のパフォーマンスを達成すること。

提案手法

• フレームレベルのラベルを用いて、スプライス音声クリップにおける結合点を特定するWavLMベースの境界検出モデルを訓練する。
• 出力ラベルを再定義することで、境界検出モデルをフレームレベルの偽装防止検出器に再利用し、各フレームを本物または偽物として分類する。
• 学習された表現に基づいて、個々の音声フレームの真正性を評価するWav2Vecベースのフレームレベル偽装防止モデルを活用する。
• 真の音声サンプルに限定してVAEモデルを訓練し、本物の音声分布から著しく逸脱する外れ値を検出する。
• 3つのモデルの出力をヒューリスティックスコア戦略を用いて統合する：1〜3つの境界が検出されたセグメントでは境界検出と偽装防止の結果を用い、境界数が0または10個を超えるなど曖昧なケースではVAEの異常スコアを再スコアリングする。
• しきい値に基づく意思決定ルールを適用する：セグメント内の40％以上のフレームが偽物と予測された場合、そのセグメントを偽物と分類し、それ以外は本物と分類する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータとテストデータが異なる合成モデルに由来する場合、部分的に偽装された音声クリップにおける改ざん領域を効果的に局所化する方法は何か？
• RQ2 境界検出、フレームレベルの偽装防止、外れ値検出の組み合わせが、未知のドメイン音声における一般化性能をどの程度向上させられるか？
• RQ3 音声スプライシング偽造の文脈において、それぞれ異なる強みを持つ複数の検出モデルを統合する最適な統合戦略は何か？
• RQ4 本物のデータにのみ訓練されたVAEが、本物の音声分布から著しく逸脱する偽物の音声クリップを効果的に同定できるか？
• RQ5 セグメント長や偽物フレームの割合に基づくヒューリスティックルールは、モデルの予測が曖昧な場合に分類精度をどのように向上させるか？

主な発見

• DKU-DUKEECEシステムは、ADD 2023 Track 2のテストセットで82.23%の文単位正答率を達成し、改ざん領域を正確に特定していることを示している。
• システムはF₁スコア60.66%を達成し、偽物セグメントを検出する際の精度と再現率のバランスが取れていることを示している。
• 最終的な統合モデルはVAEベースの外れ値検出を組み込むことで、総合的なADDスコア0.6713を達成し、ADD 2023のTrack 2で1位を獲得した。
• WavLMベースの境界検出とWav2Vecベースの偽装防止モデルの組み合わせは、VAE統合の前段階でベースADDスコア0.6538を達成した。
• VAEモデルは曖昧なケースを再スコアリングすることで性能を著しく向上させた。特に、0個または10個を超える境界が検出された発話では、最も逸脱度の高い上位45％のサンプルを偽物と特定した。
• 2つのセグメントの偽物フレーム比率が類似している場合に、短いセグメントを偽物とみなすというヒューリスティックスコア戦略は、トレーニングセットの事前確率に基づき、曖昧な2セグメントケースの処理に効果的であった。