[論文レビュー] Block shuffling learning for Deepfake Detection

Sitong Liu, Zhichao Lian+2 more|arXiv (Cornell University)|Feb 6, 2022

Digital Media Forensic Detection被引用数 7

ひとこと要約

本稿では、空間次元に跨る重み共有を誘導するために、局所的および全体的ブロックシャッフルを適用することで一般化性能を向上させる、深人造偽検出のための新しい正則化手法であるブロックシャッフル学習（BSL）を提案する。アドバーシャル損失と空間的回復を組み合わせることで、未知の偽造手法や一般的な画像変換に対して強靭性を発揮し、クロスデータセット評価において既存手法を上回り、Xception、ResNet50、EfficientNet-B4を含むさまざまなCNNバックボーンとシームレスに統合可能である。

ABSTRACT

Deepfake detection methods based on convolutional neural networks (CNN) have demonstrated high accuracy. extcolor{black}{However, these methods often suffer from decreased performance when faced with unknown forgery methods and common transformations such as resizing and blurring, resulting in deviations between training and testing domains.} This phenomenon, known as overfitting, poses a significant challenge. To address this issue, we propose a novel block shuffling regularization method. Firstly, our approach involves dividing the images into blocks and applying both intra-block and inter-block shuffling techniques. This process indirectly achieves weight-sharing across different dimensions. Secondly, we introduce an adversarial loss algorithm to mitigate the overfitting problem induced by the shuffling noise. Finally, we restore the spatial layout of the blocks to capture the semantic associations among them. Extensive experiments validate the effectiveness of our proposed method, which surpasses existing approaches in forgery face detection. Notably, our method exhibits excellent generalization capabilities, demonstrating robustness against cross-dataset evaluations and common image transformations. Especially our method can be easily integrated with various CNN models. Source code is available at \href{https://github.com/NoWindButRain/BlockShuffleLearning}{Github}.

研究の動機と目的

• 多様な偽造手法や画像変換に起因する不安定な局所的アーティファクトに依存することで生じる深人造偽検出における過学習を是正すること。
• 画素値を変更せずに空間次元に跨る重み共有を強制する正則化メカニズムを導入することで、モデルの一般化性能を向上させること。
• ブロックシャッフルと回復を用いて、局所的領域からの特徴学習を強化するとともに、グローバルな意味的構造を維持すること。
• Xception、ResNet50、EfficientNet-B4を含む多様なCNNアーキテクチャとの互換性を確保するとともに、性能向上を実現すること。
• ランダムシャッフル操作によって生じるノイズを、スパuriousパターンをフィルタリングするアドバーシャル損失部により低減すること。

提案手法

• 入力画像を重複のない空間ブロックに分割し、各ブロック内で画素をランダムに再配置するインラインブロックシャッフルを適用することで、局所的特徴の強靭性を向上させる。
• インラインブロックシャッフルによって生成されるノイズパターンを抑えるためにアドバーシャル損失を導入し、本物と偽物の特徴を区別する能力を向上させる。
• ブロック間シャッフルにより画像全体の空間的構造を破壊することで、ネットワークが局所的特徴に依存する学習を促進する。
• 位置回復モジュールにより元のブロック配置を再構築し、隣接するブロック間の意味的相関をモデル化することで文脈的情報を保持する。
• 学習可能なハイパーパrameter α と β を用いて、偽造検出、ブロックシャッフル、位置回復のマルチタスク目的でエンドツーエンドに訓練する。
• 本手法はアーキテクチャに依存せず、Xception、ResNet50、EfficientNet-B4などの既存のCNNバックボーンに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 未知の偽造手法や一般的な画像変換によって引き起こされる分布シフト下でも、ブロックシャッフル正則化が深人造偽検出の一般化性能を向上させるか？
• RQ2 アドバーシャルノイズフィルタリングを施したインラインブロックシャッフルは、不安定な偽造アーティファクトからの特徴学習をどのように向上させるか？
• RQ3 空間的回復を伴うブロック間シャッフルは、局所的領域間の意味的関係を捉える能力をどの程度向上させるか？
• RQ4 検出精度と回復忠実度のバランスを最適化するための最適なブロックサイズとハイパーパrameter設定（α, β）は何か？
• RQ5 本手法は、アーキテクチャの変更なしに、さまざまなCNNアーキテクチャに効果的に転送可能か？

主な発見

• 提案手法のBSLは、EfficientNet-B4を用いてFF++ HQデータセットで97.92%の検出AUCを達成し、バックボーンモデルの96.54%を上回った。
• FF++のLQバージョンでは、BSLによりEfficientNet-B4の検出AUCが76.93%から85.61%に向上し、低品質画像に対する強い強靭性を示した。
• ブロック間シャッフルにおける最適なブロックサイズは32×32であり、より小さいブロックでは高レベルの意味的情報を失うため性能が低下した。
• ハイパーパrameterチューニングの結果、α=1 と β=1 が最良の検出性能を示し、値が大きすぎたり小さすぎたりすると顕著な低下が見られた。
• 本手法はアーキテクチャを問わず良好な一般化を示し、ResNet50では1.56%、EfficientNet-B4では1.38%のAUC向上が、それぞれのベースラインと比較して確認された。
• クロスデータセット評価により、BSLは分布シフト下でも強力な性能を維持しており、未観測の偽造手法や画像変換に対して強靭であることが確認された。