[論文レビュー] Exploiting Human Social Cognition for the Detection of Fake and Fraudulent Faces via Memory Networks

Tharindu Fernando, Clinton Fookes+2 more|arXiv (Cornell University)|Nov 17, 2019

Digital Media Forensic Detection参考文献 70被引用数 11

ひとこと要約

本稿では、人間の社会的認知を活用して、将来の意味的埋め込みを予測し、実際の顔のダイナミクスと整合性を保つことで、偽物や不正な顔を検出する階層的メモリネットワーク（HMN）を提案する。本モデルは、新規のメモリアーキテクチャと敵対的学習を採用することで、未観測の改ざんタイプに対しても最先端の一般化性能を達成し、ディープフェイクや合成顔の検出において既存手法を上回る性能を発揮する。

ABSTRACT

Advances in computer vision have brought us to the point where we have the ability to synthesise realistic fake content. Such approaches are seen as a source of disinformation and mistrust, and pose serious concerns to governments around the world. Convolutional Neural Networks (CNNs) demonstrate encouraging results when detecting fake images that arise from the specific type of manipulation they are trained on. However, this success has not transitioned to unseen manipulation types, resulting in a significant gap in the line-of-defense. We propose a Hierarchical Memory Network (HMN) architecture, which is able to successfully detect faked faces by utilising knowledge stored in neural memories as well as visual cues to reason about the perceived face and anticipate its future semantic embeddings. This renders a generalisable face tampering detection framework. Experimental results demonstrate the proposed approach achieves superior performance for fake and fraudulent face detection compared to the state-of-the-art.

研究の動機と目的

• 未観測の改ざんタイプへの一般化の欠落という重要なギャップを解消すること。
• 特に圧縮や品質劣化下でも、画像および動画におけるディープフェイクや不正な顔の検出における耐性を向上させること。
• 顔の兆候から精神状態を予測するといった、人間の社会的認知プロセスをモデル化し、顔の将来の意味的埋め込みを予測すること。
• 実際の顔のアイデンティティと意味的整合性を保持しながら、偽物の顔における不整合を検出できるメモリアーキテクチャを開発すること。
• 既存のニューラルメモリネットワーク（例：NTM、TMN）が長期依存関係をモデル化し、顔固有の属性を保持する点で抱える制限を克服すること。

提案手法

• 入力画像から初期の顔の意味的埋め込みを抽出するために事前学習済みのResNetを用いる。
• これらの埋め込みは、順方向および逆方向のGRUを介して、系列的関係と時間的文脈をモデル化する。
• 階層的メモリモジュールに問い合わせる前に、入力レベルのアテンションを適用して顕著な顔の特徴に焦点を当てる。
• 階層的メモリネットワークは、入力、ピクセル領域、出力の多段階アテンションを用いて、関連情報を抽出・統合しつつ、保存された埋め込みのアイデンティティを保持する。
• 新しいメモリ更新メカニズムにより、顔の埋め込みを直接連結してメモリに追加する。これにより、部分的または混合的な更新が生じて顔の属性が歪められるのを回避する。
• 敵対的学習フレームワークにより、実際の埋め込みと合成された将来の埋め込みを区別するディスクライマと、それを欺くジェネレータを同時に学習する。偽物検出と将来の埋め込み予測の両方を最適化する統合損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 人間らしい社会的認知、特に将来の顔の状態の予測をモデル化することで、偽物や不正な顔の検出性能が向上するか？
• RQ2 ニューラルメモリアーキテクチャは、実際の顔のアイデンティティと意味的整合性を保持しながら、合成アーティファクトを検出できるようにどのように設計できるか？
• RQ3 階層的アテンションとメモリの組織化は、未観測の顔改ざん技術への一般化をどの程度向上させるか？
• RQ4 偽物検出と将来の埋め込み予測のための統合損失関数を敵対的学習で学習することで、従来の教師あり損失関数を上回る性能が得られるか？
• RQ5 既存のメモリネットワーク（例：NTM、TMN）におけるアーキテクチャ的制限は、効果的な顔偽造検出を妨げる要因となり、HMNはそれらをどのように克服するか？

主な発見

• 提案されたHMNは、複数のベンチマークで偽物や不正な顔の検出において最先端の性能を達成し、既存手法を上回る。
• モデルは未観測の改ざんタイプに対しても効果的に一般化でき、訓練時に学習したアーティファクトの範囲を超えて堅牢性を示す。
• 階層的アテンション機構により、顔の関連属性のより正確な取得が可能になり、メモリ内でのアイデンティティの一貫性が維持される。
• 敵対的学習フレームワークは、偽物検出と将来の意味的埋め込み予測の両方を向上させる統合損失関数を効果的に学習した。
• HMNのメモリ更新メカニズムは、NTM や TMN とは異なり、異なるアイデンティティの顔の属性が混合されるのを防ぎ、合成顔アーティファクトの検出を強化する。
• 可視化結果から、メモリモジュールが人間の顔の連続性と社会的存在感に合致した方法で、保存された顔の事実を取得し推論していることが確認された。