[論文レビュー] Representative Forgery Mining for Fake Face Detection

Chengrui Wang, Weihong Deng|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 10

ひとこと要約

本稿では、代表的偽造領域に注目を向けるようにCNN検出器を誘導することで、従来無視されていた領域を捉えることで偽顔検出性能を向上させるアテンションベースのデータ拡張手法である代表的偽造マイニング（RFM）を提案する。偽造注目マップ（FAM）を生成し、懸念される偽造領域を不審な偽造領域消去（SFE）でマスキングすることで、検出器の一般化性能が向上し、アーキテクチャの変更なしにDFFDおよびCeleb-DFで最先端の性能を達成する。

ABSTRACT

Although vanilla Convolutional Neural Network (CNN) based detectors can achieve satisfactory performance on fake face detection, we observe that the detectors tend to seek forgeries on a limited region of face, which reveals that the detectors is short of understanding of forgery. Therefore, we propose an attention-based data augmentation framework to guide detector refine and enlarge its attention. Specifically, our method tracks and occludes the Top-N sensitive facial regions, encouraging the detector to mine deeper into the regions ignored before for more representative forgery. Especially, our method is simple-to-use and can be easily integrated with various CNN models. Extensive experiments show that the detector trained with our method is capable to separately point out the representative forgery of fake faces generated by different manipulation techniques, and our method enables a vanilla CNN-based detector to achieve state-of-the-art performance without structure modification.

研究の動機と目的

• 従来のCNN検出器が狭い顔領域に過剰に注目するという限界を是正すること。
• 訓練データを精錬することで、より顕著でないが代表的な偽造領域に注目するよう促すことで、検出器の一般化性能を向上させること。
• アーキテクチャの変更や複雑な教師信号を用いずに、シンプルなCNN検出器が最先端の性能を達成できるようにすること。
• アノテートされた偽造領域を必要とせずに、異なる操作手法に特有の代表的偽造を可視化しマイニングすること。

提案手法

• 勾配ベースのサリエンシーを用いて画像レベルの偽造注目マップ（FAM）を生成し、検出器に対して最も感受性が高い上位N個の顔領域を同定する。
• 不審な偽造領域消去（SFE）を適用して、上位N個の感受性が高い領域をマスキングし、検出器が従来無視されていた顔領域を探索するように強制する。
• マスキングされたデータを用いて訓練中に段階的に検出器を精錬し、より代表的で判別力のある偽造パターンに注目するよう促進する。
• 偽物の顔全体の平均FAMを用いて、各操作手法ごとに代表的偽造領域を可視化しクラスタリングする。
• 構造的変更なしに任意のCNNモデルにRFMを統合可能であり、プラグアンドプレイによる向上が可能である。
• セマンティックセグメンテーションを活用して、偽造度が低い偽物の顔を生成し、耐性評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 検出器の注目を未利用の顔領域に誘導するデータ拡張は、偽顔検出性能を向上させることができるか？
• RQ2 RFMは教師なしで、多様な操作手法にわたる代表的偽造を検出器が特定できるか？
• RQ3 RFMは技術的偽造度が低い偽顔における検出性能にどのように影響を与えるか？
• RQ4 RFMが生成する平均FAMは、操作手法のグループに一致するクラスタリングパターンを示すか？
• RQ5 RFMは、現実世界の低偽造度の偽顔に対して、検出器の耐性をどの程度向上させるか？

主な発見

• DFFDにおいて、RFMを用いた検出器は、先行研究と比較して0.1% FPRにおけるTDRを6.16%向上し、0.01% FPRでは6.61%向上した。
• RFMで訓練された検出器は、技術的偽造度が低い偽顔において顕著に高い性能を維持しており、特に目、鼻、口、または顔の皮膚のみが操作された場合に顕著である。
• 平均FAMの可視化結果から、RFMが検出器を代表的偽造領域に注目させることが示された—二段階手法では顔の境界、一括手法では皮膚全体が注目対象となった。
• 類似した操作手法のFAMは高いコサイン類似度を示しており、RFMが操作手法のグループごとに偽造パターンをクラスタリング可能であることを示している。
• 4～256フレームの動画フレームに対して平均FAMを計算した結果、4フレームで判別能のある偽造輪郭を十分に捉えることができ、256フレームで詳細な形状が明確に現れた。
• 本手法により、アーキテクチャの変更なしにXceptionベースの検出器がDFFDおよびCeleb-DFベンチマークで最先端の性能を達成した。