[논문 리뷰] MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes

Zhikai Chen, Lingxi Xie외 3명|arXiv (Cornell University)|2021. 03. 26.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 4

한 줄 요약

MagDR는 시각적 기준(예: SSIM, PSNR)을 통해 변형을 식별하고, 적응형 얼굴 영역 마스크를 사용해 검출 및 복원을 유도하는 마스크 유도 검출 및 복원 프레임워크를 제안한다. 이는 블랙박스 및 WHITELIST 공격에 대해 강력한 방어 성능을 보이며, FaceForensics++ 및 CelebA 데이터셋에서 최신 기술 수준의 내성 확보를 입증한다.

ABSTRACT

Deepfakes raised serious concerns on the authenticity of visual contents. Prior works revealed the possibility to disrupt deepfakes by adding adversarial perturbations to the source data, but we argue that the threat has not been eliminated yet. This paper presents MagDR, a mask-guided detection and reconstruction pipeline for defending deepfakes from adversarial attacks. MagDR starts with a detection module that defines a few criteria to judge the abnormality of the output of deepfakes, and then uses it to guide a learnable reconstruction procedure. Adaptive masks are extracted to capture the change in local facial regions. In experiments, MagDR defends three main tasks of deepfakes, and the learned reconstruction pipeline transfers across input data, showing promising performance in defending both black-box and white-box attacks.

연구 동기 및 목표

• 입력 데이터에 변형이 가해져도 여전히 취약한 딥페이크 검출 및 생성 시스템에 대한 지속적인 적대적 공격 위협을 해결한다.
• 이미지 간 번역 기반 딥페이크(얼굴 편집, 재연, 교체)에서 발생하는 적대적 변형을 검출하고 복구하는 방어 메커니즘을 개발한다.
• 학습 가능한 영역별 마스크를 활용해 다양한 공격 환경(블랙박스 및 화이트박스 설정 포함)에서 이식 가능한 방어를 가능하게 한다.
• 시각적 기준에 기반해 동적으로 모듈을 조정하는 계층적이고 적응형 최적화 파이프라인을 설계해 복원 품질을 향상시킨다.

제안 방법

• SSIM, PSNR 등 시각적 기준을 정의하여 적대적 변형에 의해 유도된 이상한 이미지 출력을 탐지한다.
• 얼굴 영역(예: 눈, 입 등)에 대응하는 적응형 학습 가능한 마스크를 사용해 왜곡 및 일관성 없는 부분을 국소화하는 마스크 유도 검출기 학습.
• 모듈 순서를 구성 가능하게 하고 매개변수를 조정 가능한 계층적 복원 파이프라인 설계로 정의된 시각적 기준을 억제한다.
• 반복적으로 정의된 기준(예: SSIM, PSNR)을 최소화하는 적응형 최적화를 수행해 원본 변형되지 않은 딥페이크 출력을 복구한다.
• 조건부 속성 패치와 점진적 모듈 실행 전략을 활용해 질감 복원을 향상시키고 계산 비용을 감소시킨다.
• 다양한 딥페이크 모델과 공격 유형에서 검출기 및 복원 파이프라인을 학습함으로써 이식성을 확보하고, 예상치 못한 공격에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥페이크 생성 모델에 적용된 적대적 변형은 SSIM 및 PSNR와 같은 시각적 품질 지표를 통해 신뢰성 있게 탐지할 수 있는가?
• RQ2 적응형 얼굴 영역 특화 마스크는 딥페이크 출력에서의 적대적 손상에 대해 검출 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 학습된 마스크에 기반한 복원 파이프라인은 CycleGAN, StarGAN, GANimation 등 다양한 딥페이크 생성 방법에 걸쳐 적대적 변형을 효과적으로 복구할 수 있는가?
• RQ4 제안된 방어는 블랙박스 및 화이트박스 공격 설정 모두에서 내성성을 유지하는가? 그리고 다양한 데이터셋과 모델 간에 얼마나 잘 일반화되는가?
• RQ5 동적 실행 순서를 갖춘 계층적 복원 모듈은 고품질 출력 복구를 유지하면서 계산 비용을 상당히 감소시킬 수 있는가?

주요 결과

• MagDR는 FaceForensics++ 및 CelebA와 같은 다양한 데이터셋에서 블랙박스 및 화이트박스 적대적 공격에 대해 효과적으로 방어하며, 뛰어난 이식성과 함께 최신 기술 수준의 내성 확보를 입증한다.
• 마스크 유도 검출기는 얼굴 영역의 국소적 왜곡과 일관성 없는 부분을 탐지함으로써 적대적 변형에 대해 높은 민감도를 보이며, 표준 검출 기반 베이스라인을 능가한다.
• 적응형 복원 파이프라인은 SSIM, PSNR 등의 시각적 기준을 자연스러운 수준으로 낮춰, 강력한 적대적 손상 이후에도 원본 딥페이크 출력을 효과적으로 복원한다.
• 계층적이고 점진적인 모듈 설계는 특히 얼굴 세부 영역에서 고품질 질감 복원을 유지하면서 계산 비용을 상당히 감소시킨다.
• MagDR는 얼굴 편집, 얼굴 재연, 얼굴 교체의 세 가지 주요 딥페이크 작업 전반에서 일관된 성능을 보이며, 광범위한 적용 가능성을 확인한다.
• 프레임워크는 최신 기술 수준의 적대적 공격자 및 방어자에 대해서도 효과적으로 작동하며, 딥페이크에서의 적대적 변형이 공통된 시각적 패atters를 통해 탐지 가능하다는 것을 시사한다.