[論文レビュー] How Deep Are the Fakes? Focusing on Audio Deepfake: A Survey

Zahra Khanjani, Gabrielle Watson+1 more|arXiv (Cornell University)|Nov 28, 2021

Digital Media Forensic Detection参考文献 50被引用数 6

ひとこと要約

本調査は、2016年から2020年までの期間にわたり、音声ディープフェイクの生成および検出手法に焦点を当てた、英語で書かれた最初の包括的分析を提供する。主な技術としてGAN、CNN、DNNを特定し、深刻な脅威が増加しているにもかかわらず、音声ディープフェイク検出分野における研究ギャップが顕在化していることを明らかにした。また、詐欺や誤情報拡散の増加に歯止めをかけるために、耐障害性の高い検出システムの即時開発が求められている。

ABSTRACT

Deepfake is content or material that is synthetically generated or manipulated using artificial intelligence (AI) methods, to be passed off as real and can include audio, video, image, and text synthesis. This survey has been conducted with a different perspective compared to existing survey papers, that mostly focus on just video and image deepfakes. This survey not only evaluates generation and detection methods in the different deepfake categories, but mainly focuses on audio deepfakes that are overlooked in most of the existing surveys. This paper critically analyzes and provides a unique source of audio deepfake research, mostly ranging from 2016 to 2020. To the best of our knowledge, this is the first survey focusing on audio deepfakes in English. This survey provides readers with a summary of 1) different deepfake categories 2) how they could be created and detected 3) the most recent trends in this domain and shortcomings in detection methods 4) audio deepfakes, how they are created and detected in more detail which is the main focus of this paper. We found that Generative Adversarial Networks(GAN), Convolutional Neural Networks (CNN), and Deep Neural Networks (DNN) are common ways of creating and detecting deepfakes. In our evaluation of over 140 methods we found that the majority of the focus is on video deepfakes and in particular in the generation of video deepfakes. We found that for text deepfakes there are more generation methods but very few robust methods for detection, including fake news detection, which has become a controversial area of research because of the potential of heavy overlaps with human generation of fake content. This paper is an abbreviated version of the full survey and reveals a clear need to research audio deepfakes and particularly detection of audio deepfakes.

研究の動機と目的

• 既存の調査が主に動画および画像ディープフェイクに焦点を当てているのに対し、音声ディープフェイクが著しく軽視されているという顕著な見過ごしを是正すること。
• 音声ディープフェイクに特化した生成および検出技術を体系的に分析し、重要な研究ギャップを埋めること。
• 音声ディープフェイク検出分野における最新技術を評価し、欠陥と研究ニーズを浮き彫りにすること。
• リプレイ攻撃、音声合成、ボイスコンバージョンを含む、音声ディープフェイク手法の包括的フレームワークおよび分類体系を提示すること。
• 実世界での悪用が増加していることと、検出能力の不足が顕在化していることから、音声ディープフェイク検出分野における研究投資の拡大を提言すること。

提案手法

• 2016年から2020年までの音声特化型手法に焦点を当てた、140篇以上のディープフェイク関連論文の体系的レビューを実施した。
• 音声ディープフェイク技術を3つのサブカテゴリに分類した：リプレイ攻撃、音声合成、ボイスコンバージョン。
• 等誤差率（EER）、FID、PPL、および知覚的品質スコアなどの指標を用いて検出フレームワークを評価した。
• 生成および検出の両タスクに用いられる深層学習アーキテクチャ（GAN、CNN、DNN、RNN）を分析した。
• 主要なフレームワーク、データセット、目的、パフォーマンス指標を要約した比較表（表1、2、3）を提供した。
• リプレイ攻撃検出性能のベンチマークとしてASVspoof2017を用い、深層畳み込みネットワークを用いて0%の等誤差率（EER）を達成した。

実験結果

リサーチクエスチョン

• RQ1 音声ディープフェイクの主な技術的カテゴリおよびサブカテゴリは何か。また、それらの生成メカニズムにはどのような相違があるか。
• RQ2 音声ディープフェイクを検出するのに最も効果的な深層学習アーキテクチャは何か。また、それらのパフォーマンスはどのように比較されるか。
• RQ3 なぜ音声ディープフェイク検出は、動画および画像ディープフェイク検出と比べて著しく研究が遅れているのか。
• RQ4 現在の音声ディープフェイク検出手法に、特に実世界での展開において顕在化している主な制限および欠陥は何か。
• RQ5 最近のフレームワーク（例：メタラーニングGANやニューラルレンダリング）は、音声および動画ディープフェイクの生成および検出技術の発展にどのように寄与しているか。

主な発見

• 生成的敵対ネットワーク（GAN）、畳み込みニューラルネットワーク（CNN）、深層ニューラルネットワーク（DNN）は、音声ディープフェイクの生成および検出の両方において支配的である。
• 深刻な脅威が増加しているにもかかわらず、ディープフェイク研究全体のわずか一部しか音声に向けられておらず、検出手法は生成技術に比べて著しく遅れをとっている。
• 深層畳み込みネットワークは、ASVspoof2017データセットにおいてリプレイ攻撃検出で完璧な0%の等誤差率（EER）を達成し、従来手法を上回った。
• 音声合成（TTS）およびボイスコンバージョンは、音声ディープフェイクの主要なサブカテゴリであり、最近のフレームワークにより高精細でリップシンクを伴う音声・映像の合成が可能になった。
• 本研究では、テキストベースおよび音声ベースのディープフェイクに対して、耐障害性が高く汎用性のある検出手法が著しく不足していることが判明した。特に、AI生成コンテンツと人間が作成した誤情報の区別が困難である。
• 調査では、動画ディープフェイク生成技術は非常に高度に発展している一方で、音声ディープフェイク検出技術は未だに発展途上にあり、深刻なセキュリティ的・社会的リスクを引き起こしていることが明らかになった。