[논문 리뷰] What makes fake images detectable? Understanding properties that generalize

Lucy Chai, David Bau외 2명|arXiv (Cornell University)|2020. 08. 24.

Digital Media Forensic Detection참고 문헌 36인용 수 13

한 줄 요약

이 논문은 높은 생성 품질에도 불구하고 가짜 이미지가 딥러닝 모델에 의해 여전히 탐지 가능한 이유를 조사한다. 제한된 수신장이 있는 패치 기반 분류기를 사용하여, 얼굴 영역(특히 입과 눈)에서 발생하는 국소적 아티팩트를 특정하고, 이 아티팩트들은 다양한 생성기, 데이터셋, 아키텍처에 걸쳐 일반화됨을 확인한다. 적대적 피팅을 거친 후에도 생성기는 특정 이미지 패치에 탐지 가능한 흔적을 남기며, 이는 지속적인 국소적 일관성 결여를 보여준다.

ABSTRACT

The quality of image generation and manipulation is reaching impressive levels, making it increasingly difficult for a human to distinguish between what is real and what is fake. However, deep networks can still pick up on the subtle artifacts in these doctored images. We seek to understand what properties of fake images make them detectable and identify what generalizes across different model architectures, datasets, and variations in training. We use a patch-based classifier with limited receptive fields to visualize which regions of fake images are more easily detectable. We further show a technique to exaggerate these detectable properties and demonstrate that, even when the image generator is adversarially finetuned against a fake image classifier, it is still imperfect and leaves detectable artifacts in certain image patches. Code is available at https://chail.github.io/patch-forensics/.

연구 동기 및 목표

• 다양한 생성기, 데이터셋, 아키텍처 간에 가짜 이미지 탐지기가 일반화되는 데 기여하는 이미지 특성의 규명.
• 전역 이미지 구조가 변할 때조차도 탐지 가능한 국소적 패치 수준의 아티팩트를 분리하는 것.
• 가짜 이미지의 탐지 가능한 특징을 시각화하고 과장하여 설명 가능성을 높이는 방법 개발.
• 적대적 피팅을 거친 생성기가 탐지 가능한 아티팩트를 완전히 제거할 수 있는지 평가하는 것.
• 표준화된 이미지 포맷팅을 통해 전처리 아티팩트의 영향을 제거하여 일반화가 실질적 이미지 아티팩트에 기반함을 보장하는 것.

제안 방법

• 전체 컨볼루션형이며 수신장이 제한된 패치 기반 분류기를 훈련하여 전반적인 의미보다 국소적 이미지 텍스처에 집중.
• 실제 이미지와 가짜 이미지 간의 포맷 차이를 최소화하기 위해 신중한 전처리를 적용하여 임의의 탐지 신호를 방지.
• 실제 또는 가짜 레이블에 대해 가장 예측력이 높은 이미지 패치를 식별하기 위해 시각화 기법을 적용.
• 잠재 표현을 조작하여 아티팩트를 강조함으로써 가짜 이미지의 탐지 가능한 특징을 과장.
• 사전 훈련된 가짜 탐지기의 오차를 줄이기 위해 GAN을 적대적으로 피팅한 후, 탐지 성능을 재평가.
• 여러 데이터셋(Face2Face, FaceSwap, Deepfakes, NeuralTextures)과 모델 아키텍처(ResNet, Xception, MesoInception4) 간의 일반화를 테스트.

실험 결과

연구 질문

• RQ1 다양한 이미지 생성 모델과 데이터셋 간에 일관되게 탐지 가능한 국소적 이미지 특성은 무엇인가?
• RQ2 패치 기반 분류기가 전체 이미지 분류기보다 비정상적인 가짜 이미지 소스에 대해 얼마나 잘 일반화되는가?
• RQ3 GAN의 적대적 피팅을 통해 특정 이미지 패치에서 탐지 가능한 아티팩트를 완전히 제거할 수 있는가?
• RQ4 특정 모델 최적화를 통해도 일부 영역(예: 입, 눈)에서 탐지 가능한 아티팩트가 지속적으로 남는가?
• RQ5 전처리의 차이가 탐지기의 일반화에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 패치 기반 분류기는 특히 얼굴 변형 작업에서 외부 도메인의 가짜 이미지로의 일반화 성능에서 전체 이미지 분류기보다 뛰어남.
• Face2Face 데이터로 훈련된 분류기는 다른 변형 방법으로의 일반화가 가장 우수하지만, FaceSwap으로의 일반화는 여전히 특히 도전적임.
• 가장 예측력 있는 패치는 입, 눈, 코와 같은 얼굴 영역에 국소화되어 있으며, Face2Face 기반 탐지에서는 입 영역이 지배적임.
• 적대적 피팅을 거친 후에도 생성기는 여전히 특정 이미지 패치에 탐지 가능한 아티팩트를 남기며, 이는 지속적인 국소적 일관성 결여를 시사함.
• 잠재 공간 조작을 통한 탐지 가능한 특징의 과장은 다양한 가짜 이미지 유형 간에 일관된 국소적 패턴을 드러냄.
• 표준화된 전처리를 통해 탐지기가 포맷 차이를 학습하지 않게 하여, 일반화가 진짜 이미지 아티팩트에 기반함을 보장함.