[論文レビュー] Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM

Jacob mallet, Laura Pryor+2 more|arXiv (Cornell University)|Jan 27, 2023

Digital Media Forensic Detection被引用数 6

ひとこと要約

本稿では、多様でマルチソースのデータセット上で検出精度を向上させるために、畳み込みニューラルネットワーク（CNN）とサポートベクターマシン（SVM）を組み合わせたハイブリッドディープフェイク検出モデルを提案する。このアプローチは、CNNを特徴量抽出に、SVMを分類に用い、特に多様なアーティファクトや低品質な入力を含む困難な現実世界のシナリオにおいても、改ざんされた顔を高精度に同定する性能を達成している。

ABSTRACT

Social media is currently being used by many individuals online as a major source of information. However, not all information shared online is true, even photos and videos can be doctored. Deepfakes have recently risen with the rise of technological advancement and have allowed nefarious online users to replace one face with a computer generated face of anyone they would like, including important political and cultural figures. Deepfakes are now a tool to be able to spread mass misinformation. There is now an immense need to create models that are able to detect deepfakes and keep them from being spread as seemingly real images or videos. In this paper, we propose a new deepfake detection schema using two popular machine learning algorithms.

研究の動機と目的

• ソーシャルメディアにおけるディープフェイクの増加する脅威に対処するため、頑健な検出システムを開発すること。
• 多様で現実世界のディープフェイクデータセット（多様なアーティファクトや低品質な入力を含む）における検出性能を向上させること。
• CNNの特徴量抽出の強みとSVMの分類の頑健性を組み合わせ、検出精度を向上させること。
• 複数のソースから構成される合成データセット上で、ハイブリッド機械学習アプローチの有効性を評価すること。

提案手法

• モデルは、ディープフェイク動画内の顔画像から空間的特徴量を抽出するために事前学習済みのCNNアーキテクチャを用いる。
• CNNから抽出された特徴量は、SVMに供給され、本物対偽物の二値分類が行われる。
• データセットは、FaceForensics++、Celeb-DF、DFDCなど、複数の公開ソースからのハイブリッド集積であり、多様性と現実性を確保する。
• モデルの一般化性能を向上させるとともに過学習を軽減するために、データ拡張および正規化技術が適用される。
• モデルの訓練と検証にはk分割交差検証が用いられ、頑健性と信頼性の高い性能推定が保証される。
• SVMのハイパーパrameterチューニングが実施され、最適な分離境界を達成するように決定境界の分離を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-SVMモデルは、多様なデータセット上でスタンドアロンモデルを上回るディープフェイク検出性能を示すか？
• RQ2 本モデルは、変換品質やアーティファクトのレベルが異なる現実世界のディープフェイクサンプルに対して、どのように性能を発揮するか？
• RQ3 データセットの多様性が、検出システムの一般化性能および頑健性をどの程度向上させるか？
• RQ4 CNNによる特徴量抽出が、SVMの最終的分類精度に及ぼす影響は何か？
• RQ5 F1スコアおよびAUC-ROCの観点から、本モデルは最先端のディープフェイク検出手法と比較してどのように評価されるか？

主な発見

• ハイブリッドCNN-SVMモデルは、統合されたハイブリッドデータセット上でF1スコア0.94およびAUC-ROC 0.96を達成し、強力な検出性能を示した。
• ベースラインモデルと比較して、低品質でアーティファクトの多いサンプルにおいても、本モデルは優れた一般化性能を示した。
• CNNによる特徴量抽出は、特に微細な改ざんの兆候を検出する際、SVM分類器の識別力に顕著な向上をもたらした。
• マルチソースデータセットの使用により、特定のディープフェイク生成手法への過学習が軽減され、モデルの頑健性が向上した。
• 本システムは、より一般的でないディープフェイクソースからのサブセットを含む、ハイブリッドデータセットのすべてのテストサブセットで高い性能を維持した。
• 結果から、特徴量学習にCNNを、分類にSVMを組み合わせるアプローチが、現実世界のディープフェイク検出において有望であると示唆された。