[論文レビュー] Investigating the Impact of Pre-processing and Prediction Aggregation on the DeepFake Detection Task

Polychronis Charitidis, Giorgos Kordopatis-Zilos+2 more|arXiv (Cornell University)|Jun 12, 2020

Face recognition and analysis被引用数 16

ひとこと要約

本論文は、偽造顔検出をフィルタリングする新しい前処理パイプラインと、複数顔を含む動画における性能向上を目的とした動画レベルの予測集約手法を提案する。このアプローチにより、ベンチマークデータセット上で検出精度が最大2.2%向上し、訓練データの品質向上と頑健な集約戦略による顕著な向上を示している。

ABSTRACT

Recent advances in content generation technologies (widely known as DeepFakes) along with the online proliferation of manipulated media content render the detection of such manipulations a task of increasing importance. Even though there are many DeepFake detection methods, only a few focus on the impact of dataset preprocessing and the aggregation of frame-level to video-level prediction on model performance. In this paper, we propose a pre-processing step to improve the training data quality and examine its effect on the performance of DeepFake detection. We also propose and evaluate the effect of video-level prediction aggregation approaches. Experimental results show that the proposed pre-processing approach leads to considerable improvements in the performance of detection models, and the proposed prediction aggregation scheme further boosts the detection efficiency in cases where there are multiple faces in a video.

研究の動機と目的

• データセットの前処理がDeepFake検出性能に与える影響がまだ十分に調査されていない点に対処すること。
• 検出後のフィルタリング機構を用いて、偽陽性顔検出を低減することで、訓練データの品質を向上させること。
• 特に複数顔を含む動画において検出精度を向上させる動画レベルの予測集約戦略の開発および評価すること。
• さまざまな操作タイプやデータセット間でDeepFake検出器の一般化限界を調査すること。
• ジャーナリストや一般市民が利用可能なオープンソースの検証ツールにパイプラインを統合し、実世界への展開を支援すること。

提案手法

• 顔検出後に前処理ステップを適用し、顔の類似度と連結成分解析を用いて偽陽性をフィルタリングする。
• 特徴埋め込みを用いて検出された顔同士の類似度を計算し、類似した顔を成分にグループ化する。
• 類似度が低いか、最小サイズ閾値未満の成分は破棄することで偽陽性を除去する。
• 成分の信頼度に基づく重み付き投票メカニズムを用いて、フレームレベルの予測を集約する動画レベルの予測集約戦略を採用する。
• EfficientNet-B4やその他のアーキテクチャを用いて、Celeb-DF、FaceForensics++、DFDCの3つのベンチマークデータセットで評価を行う。
• 類似度閾値（0.7～0.9）や最小成分サイズ（NF/4～3NF/4）などのハイパーパrameterを体系的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 顔の類似度と成分解析に基づく前処理が、DeepFake検出性能にどのように影響するか？
• RQ2 効果的な偽陽性フィルタリングのための類似度とサイズの閾値の最適な組み合わせは何か？
• RQ3 フレームレベルの平均化やマックスプーリングと比較して、動画レベルの予測集約は検出精度をどの程度向上させるか？
• RQ4 提案されたパイプラインは、さまざまなDeepFake操作タイプやデータセットにどの程度一般化可能か？
• RQ5 前処理および集約パイプラインは、実世界の検証ワークフローに実際に効果的に統合可能か？

主な発見

• 提案された前処理手法は、偽陽性顔検出を低減させ、FaceForensics++データセットでログロスが1.6%改善された。
• DFDCテストセットでは、ログロスが2.2%改善され、顕著な性能向上が確認された。
• Celeb-DFデータセットでは、最適な閾値設定により1.6%の改善が得られ、類似度閾値0.9が最良の結果をもたらした。
• 成分サイズの閾値をNF/4に保つことで性能が維持されたが、3NF/4に引き上げると、有効な成分まで過剰に除去されるため結果が劣化した。
• 予測集約方式は、信頼度に基づく重み付き投票を活用することで、特に複数顔を含む動画において、ベースライン手法を上回る性能を示した。
• 本研究では、未観測の操作タイプへの一般化が限定的であることが判明し、より頑健で一般化可能な検出モデルの開発が求められることが示された。