[論文レビュー] Fake Face Detection via Adaptive Residuals Extraction Network

Zhiqing Guo, Gaobo Yang+2 more|arXiv (Cornell University)|May 11, 2020

Digital Media Forensic Detection参考文献 74被引用数 11

ひとこと要約

本稿では、適応的畳み込み層を用いてコンテンツ表現を抑圧し、微細な改ざんアーチファクトを強調することで、偽物顔検出を向上させる適応的残差抽出ネットワーク（AREN）を提案する。ARENnetに統合された本手法は、既知の顔画像改ざん手法で98.52％の平均精度、未知の後処理に対しては95.17％を達成し、最先端の手法を上回る性能を示した。

ABSTRACT

With the proliferation of face image manipulation (FIM) techniques such as Face2Face and Deepfake, more fake face images are spreading over the internet, which brings serious challenges to public confidence. Face image forgery detection has made considerable progresses in exposing specific FIM, but it is still in scarcity of a robust fake face detector to expose face image forgeries under complex scenarios. Due to the relatively fixed structure, convolutional neural network (CNN) tends to learn image content representations. However, CNN should learn subtle tampering artifacts for image forensics tasks. We propose an adaptive residuals extraction network (AREN), which serves as pre-processing to suppress image content and highlight tampering artifacts. AREN exploits an adaptive convolution layer to predict image residuals, which are reused in subsequent layers to maximize manipulation artifacts by updating weights during the back-propagation pass. A fake face detector, namely ARENnet, is constructed by integrating AREN with CNN. Experimental results prove that the proposed AREN achieves desirable pre-processing. When detecting fake face images generated by various FIM techniques, ARENnet achieves an average accuracy up to 98.52%, which outperforms the state-of-the-art works. When detecting face images with unknown post-processing operations, the detector also achieves an average accuracy of 95.17%.

研究の動機と目的

• Deepfake や Face2Face などの高度な顔画像改ざん（FIM）技術によって生成された偽物顔画像の検出という課題に対処すること。
• 画像フォレンジックスの文脈で、微細な改ざんアーチファクトではなくコンテンツ表現を学習してしまう標準的なCNNの限界を克服すること。
• 未知の後処理を伴う複雑で現実的状況下でも高い検出性能を発揮する、頑健な事前処理モジュールを開発すること。
• 適応的残差学習により、既知および未知の顔画像改ざん手法の両方で最先端の性能を達成すること。

提案手法

• 訓練中に画像の残差を予測・精緻化する適応的畳み込み層を用いる、適応的残差抽出ネットワーク（AREN）を提案する。
• 予測された残差を後続の層で再利用し、ネットワーク重みを動的に更新することで、改ざんアーチファクトの強調を最大化する。
• AREMをCNNベースの検出器に事前処理モジュールとして統合し、AREMnetを構築することで、改ざん検出のための特徴学習を向上させる。
• バックプロパゲーションを用いてエンドツーエンドでネットワークを訓練し、適応的畳み込み層がタスク固有の残差パターンを学習できるようにする。
• 畳み込み層の適応的性質を活用し、入力特徴に基づいてカーネル重みを調整することで、微細なアーチファクトへの感受性を高める。
• 安定した画像コンテンツを抑圧し、改ざんを示唆する不一致または不自然な領域を強調するようにアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 適応的残差抽出機構は、偽物顔画像における微細な改ざんアーチファクトの検出を改善できるか？
• RQ2 既存の最先端検出器と比較して、AREMnetは既知の顔画像改ざん手法でどの程度の性能を示すか？
• RQ3 提案手法は、未知の後処理操作が施された偽物顔画像へどの程度一般化できるか？
• RQ4 適応的残差抽出の統合は、複雑で現実的状況下の改ざん検出シナリオにおけるディープラーニングモデルの頑健性を向上させるか？

主な発見

• AREMnetは、さまざまな既知の顔画像改ざん手法で生成された偽物顔画像に対して、平均98.52％の検出精度を達成した。
• 提案手法は強力な一般化能力を維持し、未知の後処理操作が施された偽物顔画像に対しても平均95.17％の精度を達成した。
• 適応的畳み込み層は、訓練中にコンテンツ表現を効果的に抑圧し、改ざんアーチファクトへの感受性を高めた。
• AREMnetは、既知および未知の改ざんシナリオの両方で、既存の最先端手法を上回り、優れた頑健性を示した。
• AREMの事前処理機能は、下流のCNNベースの検出器の特徴学習能力を顕著に向上させた。
• アブレーションスタディの結果、適応的残差学習が最終的な検出性能に著しく寄与していることが確認された。