[論文レビュー] One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework

Shahroz Tariq, Sang Yup Lee+1 more|arXiv (Cornell University)|May 1, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 12

ひとこと要約

本稿では、空間的および時間的アーティファクトをモデル化することで、多様なディープフェイクを検出するため、時系列の動画フレームを活用する畳み込みLSTMベースの残差ネットワークであるCLRNetを提案する。ベンチマークデータセット全体で平均97.57%の精度を達成し、高品質なリアルワールドのディープフェイク（DFW）動画では93.86%の精度を示し、一般化性能において最先端の手法を上回っている。

ABSTRACT

Deep learning-based video manipulation methods have become widely accessible to the masses. With little to no effort, people can quickly learn how to generate deepfake (DF) videos. While deep learning-based detection methods have been proposed to identify specific types of DFs, their performance suffers for other types of deepfake methods, including real-world deepfakes, on which they are not sufficiently trained. In other words, most of the proposed deep learning-based detection methods lack transferability and generalizability. Beyond detecting a single type of DF from benchmark deepfake datasets, we focus on developing a generalized approach to detect multiple types of DFs, including deepfakes from unknown generation methods such as DeepFake-in-the-Wild (DFW) videos. To better cope with unknown and unseen deepfakes, we introduce a Convolutional LSTM-based Residual Network (CLRNet), which adopts a unique model training strategy and explores spatial as well as the temporal information in deepfakes. Through extensive experiments, we show that existing defense methods are not ready for real-world deployment. Whereas our defense method (CLRNet) achieves far better generalization when detecting various benchmark deepfake methods (97.57% on average). Furthermore, we evaluate our approach with a high-quality DeepFake-in-the-Wild dataset, collected from the Internet containing numerous videos and having more than 150,000 frames. Our CLRNet model demonstrated that it generalizes well against high-quality DFW videos by achieving 93.86% detection accuracy, outperforming existing state-of-the-art defense methods by a considerable margin.

研究の動機と目的

• 特定のベンチマークデータセットで訓練された既存のディープフェイク検出モデルにおける一般化の欠如に対処する。
• 未知の生成方法や実世界（DFW）の生成方法を含む、複数のディープフェイクタイプを一括して同定できる統合検出フレームワークを開発する。
• 実世界に広がる未確認のディープフェイク生成技術に対して、モデルのロバスト性を向上させる。
• インターネットから収集した大規模かつ高品質なDFWデータセットを用いて、検出性能を評価する。
• 複数のディープフェイクタイプにわたる高い精度を維持しながら、継続的学習による深刻な忘却を回避する実用的で転送可能な防御戦略を確立する。

提案手法

• 連続する動画フレームのシーケンスを処理することで、空間的・時間的不整合を捉える畳み込みLSTMベースの残差ネットワーク（CLRNet）を提案する。
• 残差ブロックによる空間的特徴抽出と、ConvLSTM層を用いた時間的モデリングを統合し、フレーム内およびフレーム間のアーティファクトを検出する。
• 一般化性能を向上させるために、ドメイン不変表現学習と複数データセットへのファインチューニングを組み合わせた独自のトレーニング戦略を採用する。
• トレーニングおよび評価に、ベンチマークデータセット（FaceSwap、DeepFake、Face2Face）と、15万フレームを超える新規収集済みのDFWデータセットを併用する。
• 性能の低下を伴わずに、複数のディープフェイクタイプにわたる転移学習を実装し、1つのモデルで多様な改ざん手法を検出可能にする。
• 限られたデータまたは未確認のディープフェイクタイプに対してもロバスト性を向上させるために、弱教師ありトレーニングパラダイムを導入する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープフェイク検出モデルが、複数のベンチマークデータセットおよび未確認の実世界のディープフェイクに対して、効果的に一般化できるか？
• RQ2 連続する動画フレーム間の時間的ダイナミクスをモデル化することで、フレームベースの手法と比較して、検出性能がどのように向上するか？
• RQ3 提案されたトレーニング戦略が、未知のディープフェイク生成手法への一般化をどの程度向上させるか？
• RQ4 高品質で実世界のディープフェイク（DFW）動画に対して、CLRNetは既存の最先端手法と比較してどの程度の性能を示すか？
• RQ5 連続するフレームを用いることで、複数ドメインでのトレーニングにおける深刻な忘却が顕著に軽減されるか？

主な発見

• CLRNetは5つのベンチマークディープフェイクデータセット全体で平均97.57%の検出精度を達成し、既存手法を顕著に上回っている。
• 200本の動画から成る15万フレームを超える高品質な実世界のディープフェイク（DFW）データセットに対して、CLRNetは93.86%の検出精度を達成した。
• 訓練時に存在しなかった未知のディープフェイクタイプに対しても、モデルは優れた一般化性能を示した。
• CLRNetを用いたマージおよび転送学習戦略は、性能の低下を伴わず一貫した性能向上を示しており、強力な転送性を示している。
• 既存の防御手法は実世界のDFW動画への一般化に失敗している一方、CLRNetは高い精度を維持しており、実世界への展開における実用性を裏付けている。
• ConvLSTMと残差ブロックによる空間的および時間的モデリングの統合により、フレーム間で見過ごされがちな微細なアーティファクトの検出が可能になった。