[논문 리뷰] FaceSigns: Semi-Fragile Neural Watermarks for Media Authentication and Countering Deepfakes

Paarth Neekhara, Shehzeen Hussain외 4명|arXiv (Cornell University)|2022. 04. 05.

Digital Media Forensic Detection인용 수 8

한 줄 요약

FaceSigns는 이미지에 인식 불가능한 방식으로 128비트의 기밀 메시지를 삽입하여 미디어를 인증하고 딥페이크를 탐지하는 딥러닝 기반의 준유연한 워터마킹 시스템을 소개한다. 이 시스템은 다양한 가시성 변환을 통해 훈련된 엔드 투 엔드 인코더-디코더 프레임워크를 사용하여 일반적인 편집에는 강건하지만 얼굴 변조에는 취약하게 유지되며, 예측되지 않은 딥페이크 공격을 탐지하는 데 0.996 AUC를 달성한다.

ABSTRACT

Deepfakes and manipulated media are becoming a prominent threat due to the recent advances in realistic image and video synthesis techniques. There have been several attempts at combating Deepfakes using machine learning classifiers. However, such classifiers do not generalize well to black-box image synthesis techniques and have been shown to be vulnerable to adversarial examples. To address these challenges, we introduce a deep learning based semi-fragile watermarking technique that allows media authentication by verifying an invisible secret message embedded in the image pixels. Instead of identifying and detecting fake media using visual artifacts, we propose to proactively embed a semi-fragile watermark into a real image so that we can prove its authenticity when needed. Our watermarking framework is designed to be fragile to facial manipulations or tampering while being robust to benign image-processing operations such as image compression, scaling, saturation, contrast adjustments etc. This allows images shared over the internet to retain the verifiable watermark as long as face-swapping or any other Deepfake modification technique is not applied. We demonstrate that FaceSigns can embed a 128 bit secret as an imperceptible image watermark that can be recovered with a high bit recovery accuracy at several compression levels, while being non-recoverable when unseen Deepfake manipulations are applied. For a set of unseen benign and Deepfake manipulations studied in our work, FaceSigns can reliably detect manipulated content with an AUC score of 0.996 which is significantly higher than prior image watermarking and steganography techniques.

연구 동기 및 목표

• 블랙박스 합성 및 대비 예제에 실패하는 기존 딥페이크 탐지 분류기의 한계를 해결한다.
• 압축에 의해 손상되는 너무 취약하거나 딥페이크 변조 후 복구 가능한 너무 강건한 이전 워터마킹 방법의 단점을 극복한다.
• 캡처 시점에 검증 가능한 기기별 기밀 정보를 이미지에 삽입하여 미디어 기원을 확립하는 능동적인 인증 시스템을 개발한다.
• 선택적 취약성 확보—일반적인 처리에는 워터마크를 유지하면서 악성 얼굴 변조(예: 딥페이크)에는 파손되도록 한다.
• 모의 변조를 통한 엔드 투 엔드, 미분 가능한 훈련을 통해 예측되지 않은 딥페이크 및 일반적인 변형에 대한 신뢰할 수 있고 일반화 가능한 탐지 기능을 실현한다.

제안 방법

• 128비트 기밀 메시지를 이미지 픽셀의 인식 불가능한 변형으로 삽입하기 위해 엔드 투 엔드 인코더-디코더 신경망을 훈련한다.
• 일반적인 변형(예: 압축, 스케일링, 색상 조정 등)을 시뮬레이션하기 위해 미분 가능한 데이터 증강 기법을 사용하여 강건성을 확보한다.
• 얼굴 영역에서의 악성 변조(예: 얼굴 교환 등)를 시뮬레이션하기 위해 이미지별로 특화된, 미분 가능한 변형 메커니즘을 도입하여 취약성을 강화한다.
• 전체 이미지의 전역적 맥락을 유지하기 위해, 얼굴가 탐지된 영역을 자르고 256×256로 크기를 조정한 후 인코딩하여 원본 이미지에 삽입한다.
• 디코더를 통해 얼굴 영역을 자르고 크기를 조정한 후 복구된 메시지를 신뢰할 수 있는 기밀 목록과 비교하여 워터마크를 복원한다.
• 디코더를 안전하게 호스팅하여 오직 이진 인증 레이블만 출력함으로써 악성 쿼리 공격으로부터 메시지 복구를 방지한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 워터마킹 시스템이 선택적 취약성을 달성할 수 있는가—일반적인 이미지 처리에는 강건하고 악성 얼굴 변조(예: 딥페이크)에는 파손되도록 하는가?
• RQ2 신경 워터마크가 훈련 중에 볼 수 없었던 일반적이고 악성 변형에 대해 얼마나 잘 일반화되는가?
• RQ3 다양한 압축 수준과 이미지 편집에서도 높은 복구 정확도를 유지하면서 워터마크를 인식 불가능하게 삽입할 수 있는가?
• RQ4 메시지 추출, 변형 복사, 프oxy 인코더 훈련 등의 악성 공격에 얼마나 잘 저항할 수 있는가?
• RQ5 다중 얼굴이 포함된 이미지에 대해 워터마킹 프레임워크를 효과적으로 적용하여 각 개별 개인의 진위성을 유지할 수 있는가?

주요 결과

• FaceSigns는 2~6개의 얼굴이 포함된 이미지에서 99.50%의 비트 복구 정확도(BRA)를 달성하여 복잡한 장면에서도 효과적인 워터마크 삽입 및 복원을 입증한다.
• 딥페이크 공격에 노출되었을 때, 시스템은 AUC 점수 0.996을 기록하여 이전의 강건성 및 준유연성 워터마킹 기법보다 뚜렷이 뛰어난 성능을 보인다.
• 딥페이크 공격를 받은 후 워터마크가 복구 불가능한 것으로 확인되어, 악성 얼굴 변조에 대한 취약성이 입증된다.
• 공격자가 한 이미지의 변형을 다른 이미지로 복사할 경우 비트 복구 정확도가 17.6%로 급격히 떨어지며, 워터마크 이행 공격에 대한 강력한 저항력을 보여준다.
• 다양한 압축 수준에서 JPEG 압축, 스케일링, 대trast 및 채도 조정과 같은 일반적인 편집에도 시스템은 강건함을 유지한다.
• 디코더의 보안 배포—오직 이진 인증 레이블만 출력함으로써—악성 쿼리로부터 목표 메시지를 복구하는 것을 효과적으로 방지한다.