[논문 리뷰] FaceGuard: Proactive Deepfake Detection

Yuankun Yang, Chenyue Liang외 3명|arXiv (Cornell University)|2021. 09. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 13

한 줄 요약

FaceGuard는 실사진에 깊이 학습 기반 워터마킹 방법을 사용해 강건하고 취약한 워터마크를 삽입함으로써 공개 이전에 진단 가능한 딥페이크 탐지 프레임워크이다. 워터마크의 무결성을 추출하여 검증함으로써 가짜 얼굴을 탐지하며, FaceForensics++에서 99.5%의 정확도를 달성하고, 후처리 및 딥페이크 변조 조건에서도 수동 탐지기 및 이전 워터마킹 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Existing deepfake-detection methods focus on passive detection, i.e., they detect fake face images via exploiting the artifacts produced during deepfake manipulation. A key limitation of passive detection is that it cannot detect fake faces that are generated by new deepfake generation methods. In this work, we propose FaceGuard, a proactive deepfake-detection framework. FaceGuard embeds a watermark into a real face image before it is published on social media. Given a face image that claims to be an individual (e.g., Nicolas Cage), FaceGuard extracts a watermark from it and predicts the face image to be fake if the extracted watermark does not match well with the individual's ground truth one. A key component of FaceGuard is a new deep-learning-based watermarking method, which is 1) robust to normal image post-processing such as JPEG compression, Gaussian blurring, cropping, and resizing, but 2) fragile to deepfake manipulation. Our evaluation on multiple datasets shows that FaceGuard can detect deepfakes accurately and outperforms existing methods.

연구 동기 및 목표

• 미래의 새로운 딥페이크 생성 방법에 대해 실패하는 수동 딥페이크 탐지의 심각한 한계를 해결한다.
• 공개 이전에 진짜 얼굴 이미지에 워터마크를 삽입하는 사전 탐지 프레임워크를 개발한다.
• 일반적인 후처리(예: JPEG 압축, 크기 조정)에 강건하면서도 딥페이크 변조에는 취약한 워터마크를 확보한다.
• 다양한iable JPEG 근사 및 강화 학습 기반 후처리 스케줄링을 통합한 인코더-디코더 워터마킹의 공동 학습 프레임워크를 설계한다.
• 동일한 아키텍처와 학습 데이터를 사용해 워터마킹 프로세스를 역공학화하는 적대적 공격자에 대비한 내성 테스트를 수행한다.

제안 방법

• 신경 인코더가 실사진에 이진 워터마크를 삽입하여 시각적으로 인식하기 어려운 워터마크가 삽입된 출력물을 생성하는 딥러닝 기반 워터마킹 시스템을 제안한다.
• 주어진 얼굴 이미지에서 워터마크를 추출하고, 기준값과 비교하여 진위 여부를 검증하기 위한 신경 디코더를 설계한다.
• 이미지 품질과 워터마크 무결성을 유지하기 위해 워터마크 복원 손실, 픽셀 수준의 인지 손실, 그리고 적대적 손실을 조합한 다중 구성 요소 손실 함수를 제안한다.
• 비가역적 연산을 통한 기울기 역전파를 가능하게 하기 위해 JPEG 압축의 미분 가능 근사를 도입한다.
• 강화 학습 기반 스케줄러를 구현하여 학습 중에 동적으로 후처리 연산(예: JPEG, 흐림, 자르기)을 적용하여 실제 환경의 왜곡을 시뮬레이션한다.
• 스토캐스틱 그래디언트 디센트를 사용해 인코더와 디코더를 공동으로 학습하며, 후처리 모듈을 그 사이에 적용하여 실제 이미지 변환을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 사전 워터마킹 시스템은 수동 탐지보다 새로운 딥페이크 생성 방법에 의해 생성된 가짜를 더 신뢰성 있게 탐지할 수 있는가?
• RQ2 제안된 워터마킹 방법은 JPEG 압축, 크기 조정과 같은 일반적인 이미지 후처리 조건에서도 무결성을 유지하는가?
• RQ3 SSIM로 측정했을 때 워터마킹은 인지적 이미지 품질에 얼마나 큰 영향을 미치는가?
• RQ4 공격자가 동일한 아키텍처와 데이터를 사용해 워터마킹 프로세스를 모방하는 데 성공한 적대적 공격자에 대해 시스템은 얼마나 내성적인가?
• RQ5 다양한iable JPEG 근사와 강화 학습 기반 스케줄링의 통합이 워터마크의 강건성과 탐지 정확도를 상당히 향상시키는가?

주요 결과

• FaceGuard는 FaceForensics++ 데이터셋에서 99.5%의 정확도를 달성하여, 수동 탐지기 및 이전의 워터마킹 방법(예: ConvWM, HiDDeN)보다 뛰어난 성능을 보였다.
• DFDC 데이터셋에서는 97.7%의 정확도를 기록했으며, 거짓 경고율(FPR)은 1.5%, 거짓 부정율(FNR)은 1.0%로 나타나 강력한 일반화 능력을 입증했다.
• FaceForensics++와 DFDC에서 진짜 이미지와 워터마크가 삽입된 이미지 간 평균 SSIM은 0.94였고, Trump-Cage에서는 0.86였으며, 이는 최소한의 인지 왜곡을 의미한다.
• 다양한iable JPEG 근사 없이 학습한 FaceGuard는 정확도가 오직 91.2%에 불과하여, 이 근사 기법이 JPEG 압축에 대한 강건성 향상에 필수적임을 보여준다.
• 강화 학습 기반 스케줄링 없이 학습한 FaceGuard는 98.2%의 정확도를 기록하여, RL 스케줄러가 실제 후처리 환경을 더 잘 시뮬레이션함으로써 성능을 추가로 향상시킨다는 것을 시사한다.
• 공격자가 동일한 아키텍처와 데이터를 사용해 워터마킹 프로세스를 역공학화하는 적대적 딥페이크에 대해서도 FaceGuard는 높은 정확도(Trump-Cage에서 97.6%)를 유지했다.