[論文レビュー] When Handcrafted Features and Deep Features Meet Mismatched Training and Test Sets for Deepfake Detection

Ying Xu, Sule Yildirim Yayilgan|arXiv (Cornell University)|Sep 27, 2022

Face recognition and analysis被引用数 4

ひとこと要約

この論文は、FaceForensics++データセット上で、手作業特徴（SIFT、HoG）と深層特徴（Xception、CNN+RNN）を用いたdeepfake検出を評価しており、訓練・テストセットが一致する場合には深層モデルが99%を超える正確性を達成するが、データセットが不一致となると性能が著しく低下することを明らかにしている。これは、汎用的deepfake検出器を構築する上で重要な課題を示している。

ABSTRACT

The accelerated growth in synthetic visual media generation and manipulation has now reached the point of raising significant concerns and posing enormous intimidations towards society. There is an imperative need for automatic detection networks towards false digital content and avoid the spread of dangerous artificial information to contend with this threat. In this paper, we utilize and compare two kinds of handcrafted features(SIFT and HoG) and two kinds of deep features(Xception and CNN+RNN) for the deepfake detection task. We also check the performance of these features when there are mismatches between training sets and test sets. Evaluation is performed on the famous FaceForensics++ dataset, which contains four sub-datasets, Deepfakes, Face2Face, FaceSwap and NeuralTextures. The best results are from Xception, where the accuracy could surpass over 99\% when the training and test set are both from the same sub-dataset. In comparison, the results drop dramatically when the training set mismatches the test set. This phenomenon reveals the challenge of creating a universal deepfake detection system.

研究の動機と目的

• 訓練セットとテストセットの間で分布がずれた状況下における、手作業特徴と深層特徴のrobustnessを調査すること。
• SIFT、HoG、Xception、CNN+RNNの性能を、異なるデータ分布を想定したFaceForensics++ベンチマークで比較すること。
• さまざまな改ざん手法（例：Deepfakes、Face2Face、FaceSwap、NeuralTextures）に一般化する際の、現在のdeepfake検出モデルの限界を特定すること。
• 多様な合成メディア生成技術に対応できる汎用的deepfake検出システムの構築可能性を評価すること。
• ドメインシフト下での、特徴の特異性と一般化性能のトレードオフを検討すること。

提案手法

• 動画フレーム内の切り出し面部からSIFTおよびヒストグラム・オブ・オリエンテッド・グレーディエント（HoG）を用いて手作業特徴を抽出した。
• 二値deepfake検出のため、手作業特徴にサポートベクターマシン（SVM）分類器を訓練した。
• 同じ顔領域フレームから、事前学習済みのXceptionおよびCNN+RNNアーキテクチャを用いて深層特徴を抽出した。
• 訓練・テストセットの一致（同じサブデータセットを両方で使用）と不一致（異なるサブデータセットを別々に使用）の2つの設定でモデルを評価した。
• FaceForensics++データセットを用い、4つのサブデータセット（Deepfakes、Face2Face、FaceSwap、NeuralTextures）を含んでおり、それぞれが1000本のオリジナル動画および改ざん動画を有する。
• 75%を訓練用、25%をテスト用に分割し、訓練セット内では80%を訓練用、20%を検証用に分割した。

実験結果

リサーチクエスチョン

• RQ1 訓練・テストセットが同一サブデータセットの場合、手作業特徴（SIFT、HoG）と深層特徴（Xception、CNN+RNN）のdeepfake検出精度はどのように比較されるか？
• RQ2 訓練セットとテストセットが異なる改ざんサブデータセットから抽出された場合、deepfake検出モデルの性能はどの程度低下するか？
• RQ3 Xceptionのような深層モデルは、一致するデータでは優れた性能を示すが、不一致データではなぜ著しく失敗するのか？
• RQ4 手作業特徴（SIFT、HoG）は、深層特徴と比較して、さまざまなdeepfake生成手法にどの程度一般化できるか？
• RQ5 ドメインシフト下において、現在の特徴抽出および分類アプローチを用いて、汎用的deepfake検出システムを構築できるか？

主な発見

• Xceptionは、訓練・テストセットが同じサブデータセットの場合、99%を超える正確性を達成しており、ドメイン内検出において優れた性能を示している。
• Xceptionの性能は不一致テストセットで著しく低下し、ほとんどの場合リcallが5.00%未満にまで低下しており、改ざんタイプ間での一般化性能が著しく低いことが示された。
• ResNet-152+LSTMは一致データでは88.53%の正確性を達成したが、不一致データでは平均して約55%の正確性にまで低下しており、限界のあるロバストネスを示している。
• 手作業特徴（SIFT、HoG）は不一致セットにおいてもより一貫した性能を示し、平均正確性が74.26%から56%に低下するにとどまり、深層特徴よりも一般化性能に優れていることが示唆された。
• Xceptionの不一致テストセットにおけるリcallは、ほとんどの場合5%未満であり、未確認の改ざん手法によるdeepfakeの検出にほぼ完全に失敗していることを示している。
• 本研究は、現在の深層学習モデルが特定の生成手法に強く特化しており、新しい手法に一般化できないという根本的な課題を浮き彫りにしている。これは、汎用的検出の実現可能性を損なっている。