[논문 리뷰] FakePolisher: Making DeepFakes More Detection-Evasive by Shallow Reconstruction

Yihao Huang, Felix Juefei-Xu외 8명|arXiv (Cornell University)|2020. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 6

한 줄 요약

FakePolisher는 학습된 선형 사전를 통한 얕은 복원을 통해 GAN에 의해 유도된 업샘플링 아티팩트를 제거함으로써 딥페이크에서 탐지 가능한 아티팩트를 감소시키는 후처리 기법이다. 이는 원본 GAN 아키텍처에 대한 지식이 필요로 하지 않으며, 최신 검출 방법의 성능을 크게 떨어뜨린다. 평균 47%의 정확도 감소와 최악의 경우 93%까지의 감소를 기록한다.

ABSTRACT

At this moment, GAN-based image generation methods are still imperfect, whose upsampling design has limitations in leaving some certain artifact patterns in the synthesized image. Such artifact patterns can be easily exploited (by recent methods) for difference detection of real and GAN-synthesized images. However, the existing detection methods put much emphasis on the artifact patterns, which can become futile if such artifact patterns were reduced. Towards reducing the artifacts in the synthesized images, in this paper, we devise a simple yet powerful approach termed FakePolisher that performs shallow reconstruction of fake images through a learned linear dictionary, intending to effectively and efficiently reduce the artifacts introduced during image synthesis. The comprehensive evaluation on 3 state-of-the-art DeepFake detection methods and fake images generated by 16 popular GAN-based fake image generation techniques, demonstrates the effectiveness of our technique.Overall, through reducing artifact patterns, our technique significantly reduces the accuracy of the 3 state-of-the-art fake image detection methods, i.e., 47% on average and up to 93% in the worst case.

연구 동기 및 목표

• 현재의 딥페이크 검출 방법이 GAN 기반 이미지 합성에서 유도되는 아티팩트, 특히 업샘플링 연산에 의해 발생하는 아티팩트에 크게 의존하고 있는 취약성을 해결하기 위해.
• 원본 GAN 모델이나 학습 데이터에 접근할 필요 없이, 가벼운 후처리 방법을 개발하여 이러한 탐지 가능한 아티팩트를 감소시키기 위해.
• 다양한 GAN 기반 위조 이미지 생성 기법과 검출 모델에 대해 아티팩트 감소의 효과를 평가하기 위해.
• 현재의 검출 방법이 특정 GAN 아티팩트에 의존하고 있음을 입증하고, 더 일반적인 목적의 검출 접근법이 필요함을 시사하기 위해.

제안 방법

• K-SVD 또는 PCA를 사용하여 실사 이미지에 대해 선형 사전 모델을 학습하여 자연 이미지 패턴을 캡처하기.
• 선형 투영 또는 희소 코딩을 통해 학습된 저차원 부분공간에 딥페이크 이미지를 투영하여 압축된 표현을 확보하기.
• 저질서 표현에서 재구성함으로써 '위조 없는' 딥페이크 이미지 버전을 합성함으로써 아티팩트 패턴을 효과적으로 제거하기.
• 원본 생성 과정을 수정하지 않고 16개의 다른 GAN 아키텍처에서 생성된 위조 이미지에 대해 이 복원 방법을 후처리 단계로 적용하기.
• 다양한 선형 복원 기법의 성능와 내구성을 비교하기 위해 PCA와 K-SVD를 모두 사용하기.
• 다양한 데이터셋에서 세 가지 최신 검출 모델에 대해 재구성된 이미지를 평가하며, 전체 및 부분 재구성 시나리오를 모두 포함하기.

실험 결과

연구 질문

• RQ1 학습된 사전를 사용한 얕은 복원이 GAN 생성 위조 이미지의 탐지 가능한 아티팩트를 효과적으로 감소시킬 수 있는가?
• RQ2 이 방법이 최신 딥페이크 검출 모델의 성능을 어느 정도 떨어뜨릴 수 있는가?
• RQ3 국소적으로 수정된 이미지에 대해 부분 재구성(파트리얼 리콘스트럭션)이 전체 재구성보다 이미지의 유사도를 유지하면서 검출을 회피하는 데 더 효과적인가?
• RQ4 PCA와 K-SVD 간의 다른 복원 기법은 아티팩트 제거 및 검출 회피에서 어떤 차이를 보이는가?
• RQ5 현재의 검출 방법이 GAN 특유의 아티팩트에 얼마나 의존하고 있으며, 그 일반화 능력을 향상시킬 수 있는가?

주요 결과

• FakePolisher는 세 가지 최신 딥페이크 검출기의 평균 검출 정확도를 47% 감소시켰으며, 최악의 경우 최대 93%까지 감소시켰다.
• 시각적 및 스펙트럼 분석을 통해 체스기반 패atters와 주파수 도메인에서의 밝은 볼브와 같은 눈에 띄는 아티팩트와 스펙트럼 아티팩트를 효과적으로 제거했다.
• 부분 재구성은 전체 재구성보다 원래 위조 이미지와의 유사도를 더 잘 유지했으며, PSNR, SSIM 및 COSS 점수에서 높은 성능을 기록했다.
• 재구성된 이미지는 높은 시각적 정밀도를 유지했으며, COSS 점수는 0.999 이상, PCA의 경우 PSNR가 35를 초과하고 K-SVD의 경우 38를 초과했다.
• 스타일GANS, 프로GANS, 사이클GANS, 스타GANS를 포함한 여러 GAN 아키텍처에서 검출 정확도 감소가 일관되게 나타나, 광범위한 적용 가능성을 보였다.
• 결과는 현재의 검출 방법이 GAN 특유의 아티팩트에 매우 민감하게 반응하고 있음을 입증하며, 이는 일반화 및 내구성 측면에서 심각한 한계를 드러낸다.