[論文レビュー] Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification

Shahrzad Sayyafzadeh, Hongmei Chi+1 more|arXiv (Cornell University)|Jan 14, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

要約: 本論文は、顔の識別検証を欺く拡散情報を用いた敵対パッチの生成と改良のエンドツーエンドパイプラインを提示するとともに、知覚ハッシュ、SSIM、セグメンテーション、ニューラル活性化マッピングを用いた法醫的検出を行い、さらに逆拡散を用いた敵対的な浄化を探究します。

ABSTRACT

This work presents an end-to-end pipeline for generating, refining, and evaluating adversarial patches to compromise facial biometric systems, with applications in forensic analysis and security testing. We utilize FGSM to generate adversarial noise targeting an identity classifier and employ a diffusion model with reverse diffusion to enhance imperceptibility through Gaussian smoothing and adaptive brightness correction, thereby facilitating synthetic adversarial patch evasion. The refined patch is applied to facial images to test its ability to evade recognition systems while maintaining natural visual characteristics. A Vision Transformer (ViT)-GPT2 model generates captions to provide a semantic description of a person's identity for adversarial images, supporting forensic interpretation and documentation for identity evasion and recognition attacks. The pipeline evaluates changes in identity classification, captioning results, and vulnerabilities in facial identity verification and expression recognition under adversarial conditions. We further demonstrate effective detection and analysis of adversarial patches and adversarial samples using perceptual hashing and segmentation, achieving an SSIM of 0.95.

研究の動機と目的

• 拡散ベースの敵対パッチが顔認証システムを欺く方法を調査する。
• 不可知性を保ちながら敵対性を維持するようパッチを改良するパイプラインを開発する。
• manipulated顔画像に対して敵対パッチを検出・局在化する法医学分析を統合する。
• 逆拡散を用いた敵対的浄化を探究し、生体認証および感情認識システムを防御する。

提案手法

• Identity分類子を標的としたFGSMを用いて敵対ノイズを生成する。
• 不可感知性のため拡散ベースのデノイジングとガウシアン平滑化でパッチを改良する。
• 顔画像にパッチを適用し、identity embeddingとキャプションの変化を評価する。
• 攻撃の意味的影響を評価するためViT-GPT2を用いてキャプショニングを行う。
• 知覚ハッシュ(aHash, pHash, dHash, wHash)とハミング距離を用いてパッチ検出を行う。
• セグメンテーション(Felzenszwalb, SLIC)、SSIM、輪郭解析、ヒートマップ、活性マップを組み合わせてマルチモーダルな法医学検出を行う。

実験結果

リサーチクエスチョン

• RQ1 拡散誘導パッチは perceptual に知覚上は似せつつ、 Identity分類をどれだけ効果的に変えることができるか。
• RQ2 知覚ハッシュ、SSIM、セグメンテーション、活性マップを用いたマルチモーダル法医学パイプラインはそのようなパッチを検出・局在化できるか。
• RQ3 逆拡散は敵対的摂動を浄化し、分類器の性能回復にどのような役割を果たすか。
• RQ4 パッチはマルチモーダルな枠組みでキャプショニング出力や感情認識にどのような影響を与えるか。

主な発見

• 拡散ガイド付きアプローチで生成された敵対パッチは、方法論に基づく詳細により、知覚的類似性を保ちつつ identity embedding とキャプションに影響を及ぼすことができる。
• 知覚ハッシュ、SSIM、セグメンテーション、輪郭検出、ヒートマップ、ニューラル活性化マップを組み合わせたマルチモーダルな法医学検出フレームワークは、閾値を超えた場合に敵対パッチを検出することができる。
• 検出はハッシュ距離に対する閾値ベースのルールを用いる（例：ハミング距離の5閾値）。
• SSIMとセグメントベースの異常スコアはパッチを局在化するために用いられ、セグメンテーションスコアは平均値プラス2標準偏差の閾値と比較される。
• このパイプラインは逆拡散による敵対的浄化をサポートし、敵対的画像を自然データ多様体へと写像できる。