[論文レビュー] Towards Generalizable and Robust Face Manipulation Detection via Bag-of-local-feature

Changtao Miao, Qi Chu+4 more|arXiv (Cornell University)|Mar 14, 2021

Face recognition and analysis参考文献 27被引用数 7

ひとこと要約

本論文は、明示的な教師信号を用いずに局所的改ざん特徴を学習できる、局所特徴のBagを強化したTransformerを活用する新しい顔改ざん検出手法を提案する。この手法は、クロスデータセットおよび実世界の摂動において、一般化性能とロバスト性を顕著に向上させ、FaceForensics++、Celeb-DF、DeeperForensics-1.0で最先端の性能を達成する。追加データやマスク教師信号を用いなくても、既存手法を上回る性能を発揮する。

ABSTRACT

Over the past several years, in order to solve the problem of malicious abuse of facial manipulation technology, face manipulation detection technology has obtained considerable attention and achieved remarkable progress. However, most existing methods have very impoverished generalization ability and robustness. In this paper, we propose a novel method for face manipulation detection, which can improve the generalization ability and robustness by bag-of-local-feature. Specifically, we extend Transformers using bag-of-feature approach to encode inter-patch relationships, allowing it to learn local forgery features without any explicit supervision. Extensive experiments demonstrate that our method can outperform competing state-of-the-art methods on FaceForensics++, Celeb-DF and DeeperForensics-1.0 datasets.

研究の動機と目的

• クロスデータセットおよび実世界の摂動下で、既存の顔改ざん検出手法の一般化性能とロバスト性が限界に達している問題に対処すること。
• グローバルな画像統計に依存するのではなく、微細でパッチ特異的な局所的改ざん特徴を学習することで、検出性能を向上させること。
• 高価なデータ拡張やマスク教師信号を回避する自己教師学習型のエンドツーエンド手法を開発すること。
• ビジョンTransformerが、顔改ざん検出のような小規模でタスク特化型のデータセットに効果的に適用可能であることを示すこと。

提案手法

• 入力された顔画像を重複のないパッチに分割し、パッチのBagを形成する。
• 各パッチを畳み込み層を用いて特徴ベクトルに埋め込み、局所特徴のBag表現を構築する。
• 空間的関係を保持するために、学習可能な1次元位置埋め込みを追加する。
• 自己注意機構を備えたTransformerエンコーダーを適用し、パッチ間の関係をモデル化し、判別的な局所的改ざんパターンを学習する。
• 改ざん領域に関する教師信号を一切用いずに、分類損失のみでエンドツーエンドに学習する。
• モデルは、顔画像全体にわたるパッチレベルの不一致に注目することで、微細なアーティファクトを暗黙的に捉える。

実験結果

リサーチクエスチョン

• RQ1 マスク教師信号を一切用いずに、改ざん領域の明示的教師信号なしに、局所特徴Bagを強化したTransformerが判別的な改ざん特徴を学習できるか？
• RQ2 FaceForensics++での学習のみで、Celeb-DFのような未観測データセットへの一般化性能はどの程度向上するか？
• RQ3 既存のSOTA手法と比較して、画像歪みやノイズなどの実世界の摂動に対して、本手法のロバスト性はどの程度高いか？
• RQ4 微調整や追加データなしに、ビジョンTransformerを小規模でタスク特化型の顔改ざん検出データセットに効果的に適用できるか？

主な発見

• FaceForensics++で学習した場合、Celeb-DF(V1)ではAUCが82.52%、Celeb-DF(V2)では78.26%を達成し、時間的情報や追加データを用いないにもかかわらず、Face X-ray や Two-branch 手法を上回る性能を示した。
• 標準的なDF-1.0テストセットでは93.53%の精度を達成し、Xceptionより5.15%高い。混合歪み下でも87.06%の高い精度を維持した。
• 注目可視化により、モデルが背景や改ざんなし領域ではなく、目、口、唇などの改ざん領域に注目していることが確認された。
• マスク教師信号や合成データに依存せず、クロスデータセット一般化性能および実世界の摂動に対するロバスト性の両面で、SOTAモデルを上回った。
• アブレーションスタディにより、局所特徴Bagの設計が、特に微細な局所的アーティファクトの検出において顕著に性能向上をもたらすことが確認された。
• 結果から、ビジョンTransformerが最小限のインダクティブバイアスで、改ざん領域に関する明示的教師信号なしに、顔改ざん検出に効果的に適応可能であることが示された。