[논문 리뷰] Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification

Shahrzad Sayyafzadeh, Hongmei Chi외 1명|arXiv (Cornell University)|2026. 01. 14.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

이 논문은 얼굴 신원 인증을 속이기 위해 확산 정보를 이용한 엔드-투-엔드 파이프라인과, 지각 해싱, SSIM, 분할, 신경 활성 매핑을 활용한 포렌식 탐지를 제시합니다. 또한 역 확산을 통한 적대적 정화를 탐구합니다.

ABSTRACT

This work presents an end-to-end pipeline for generating, refining, and evaluating adversarial patches to compromise facial biometric systems, with applications in forensic analysis and security testing. We utilize FGSM to generate adversarial noise targeting an identity classifier and employ a diffusion model with reverse diffusion to enhance imperceptibility through Gaussian smoothing and adaptive brightness correction, thereby facilitating synthetic adversarial patch evasion. The refined patch is applied to facial images to test its ability to evade recognition systems while maintaining natural visual characteristics. A Vision Transformer (ViT)-GPT2 model generates captions to provide a semantic description of a person's identity for adversarial images, supporting forensic interpretation and documentation for identity evasion and recognition attacks. The pipeline evaluates changes in identity classification, captioning results, and vulnerabilities in facial identity verification and expression recognition under adversarial conditions. We further demonstrate effective detection and analysis of adversarial patches and adversarial samples using perceptual hashing and segmentation, achieving an SSIM of 0.95.

연구 동기 및 목표

• 확산 기반의 적대적 패치가 얼굴 신원 인증 시스템을 속일 수 있는지 조사합니다.
• 은밀성을 유지하면서 적대적 효능을 보존하도록 패치를 세련시키는 파이프라인을 개발합니다.
• 조작된 얼굴 영상에서 적대적 패치를 탐지하고 로컬라이즈하기 위한 포렌식 분석을 통합합니다.
• 생체 인식 및 감정 인식 시스템을 방어하기 위해 역 확산을 통한 적대적 정화를 탐구합니다.

제안 방법

• ID 분류기를 목표로 FGSM을 이용해 적대적 노이즈를 생성합니다.
• 지각 불가성을 유지하기 위해 확산 기반 디노이징 및 가우시안 스무딩으로 패치를 세련합니다.
• 얼굴 이미지에 패치를 적용하고 신원 임베딩 및 캡션의 변화를 평가합니다.
• ViT-GPT2를 사용해 캡션 생성을 수행하고 공격의 의미론적 효과를 평가합니다.
• 지각 해싱(aHash, pHash, dHash, wHash)과 해밍 거리(Hamming distance)를 패치 탐지에 활용합니다.
• 세그먼테이션(Felzenszwalb, SLIC), SSIM, 등고선 분석, 열지도, 활성 맵을 결합해 다중 모달 포렌식 탐지로 활용합니다.

실험 결과

연구 질문

• RQ1 확산 기반의 패치가 지각적으로 불가하게 유지되면서 신원 분류를 얼마나 효과적으로 바꿀 수 있는가?
• RQ2 지각 해싱, SSIM, 세그먼트, 활성 맵을 사용해 다중 모달 포렌식 파이프라인이 이러한 패치를 탐지하고 위치를 특정할 수 있는가?
• RQ3 적대적 교란을 정화하고 분류기 성능을 회복하는 데 있어 역 확산의 역할은 무엇인가?
• RQ4 패치가 다중 모달 프레임워크에서 연관된 캡션 생성 결과와 감정 인식에 어떤 영향을 미치는가?

주요 결과

• 확산 주도 접근법으로 생성된 적대적 패치는 방법론에 근거한 세부사항과 함께 지각적 유사성을 달성하는 동시에 신원 임베딩과 캡션에 영향을 줄 수 있습니다.
• 지각 해싱, SSIM, 세그먼트, 경계 탐지(contour detection), 열지도, 신경 활성 맵을 결합한 다중 모달 포렌식 탐지 프레임워크는 임계치를 초과할 때 적대적 패치를 식별할 수 있습니다.
• 탐지는 해시 거리의 임계치 기반 규칙을 사용합니다(예: 해시 간 해밍 거리에 대한 임계치 5).
• SSIM 및 세그먼트 기반 이상점수로 패치를 로컬라이즈하며, 세그먼트 점수는 평균에 표준편차 두배를 더한 임계치와 비교합니다.
• 이 파이프라인은 역 확산을 통한 적대적 정화를 지원하여 적대적 이미지를 자연 데이터 매니폴드로 되돌립니다.