[논문 리뷰] BiHPF: Bilateral High-Pass Filters for Robust Deepfake Detection

Yonghyun Jeong, Doyeon Kim외 4명|arXiv (Cornell University)|2021. 08. 16.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 GAN으로 생성된 이미지에 고유한 주파수 도메인 아티팩트를 강조함으로써 다양한 도메인으로의 일반화 성능을 향상시키는 새로운 双방향 고역통과 필터링(BiHPF) 기법을 제안한다. 주파수 수준과 픽셀 수준의 고역통과 필터링을 조합함으로써, BiHPF는 예측 불가능한 GAN 모델, 객체 카테고리, 색상 조작에 대해 강건한 검출 성능을 달성하며, 도메인 이동 상황에서도 최신 기술 수준의 성능을 기록한다.

ABSTRACT

The advancement in numerous generative models has a two-fold effect: a simple and easy generation of realistic synthesized images, but also an increased risk of malicious abuse of those images. Thus, it is important to develop a generalized detector for synthesized images of any GAN model or object category, including those unseen during the training phase. However, the conventional methods heavily depend on the training settings, which cause a dramatic decline in performance when tested with unknown domains. To resolve the issue and obtain a generalized detection ability, we propose Bilateral High-Pass Filters (BiHPF), which amplify the effect of the frequency-level artifacts that are known to be found in the synthesized images of generative models. Numerous experimental results validate that our method outperforms other state-of-the-art methods, even when tested with unseen domains.

연구 동기 및 목표

• 다양한 GAN 모델, 객체 카테고리, 색상 조작을 포함한 예측 불가능한 도메인에서도 잘 작동하는 일반화된 딥페이크 검출 기술에 대한 필수적 요구를 해결한다.
• 학습 분포 외부 데이터에서 성능 저하가 심각하게 발생하는 기존 방법의 한계를 극복한다.
• 합성 이미지에 존재하는 일관되고 일반화 가능한 주파수 도메인 아티팩트를 식별하고 이를 탐사함으로써 강건한 검출 기반을 마련한다.
• 도메인 특화 특징이나 복잡한 아키텍처에 의존하지 않고도 아티팩트의 가시성을 향상시키는 단순하면서도 효과적인 필터링 기법을 개발한다.
• 얼굴 이미지 및 비얼굴 이미지 검출 모두에서 최신 기술 수준의 성능을 달성하면서도 강력한 도메인 간 일반화 성능 유지를 이룬다.

제안 방법

• 이중 고역통과 필터(BiHPF)를 제안한다. 이는 주파수 수준 고역통과 필터(HPF)를 통해 고주파 아티팩트를 강조하고, 로그라시안(Laplacian of Gaussian, LoG) 필터를 사용한 픽셀 수준 HPF를 통해 에지 및 배경 아티팩트를 부각시키는 이중 단계 필터링 기법이다.
• 분류 네트워크를 적대적으로 훈련시켜 아티팩트 압축 맵을 생성하고, 이를 통해 GAN 생성 이미지의 주파수 도메인 아티팩트를 식별하고 분리한다.
• BiHPF를 적용한 후 이미지의 푸리에 변환 결과인 크기 스펙트럼을 분류기의 입력으로 사용하며, 아티팩트가 가장 두드러지는 고주파 성분에 집중한다.
• 주파수 수준 HPF는 커프오프 주파수 $w_c$로 제어하고, 픽셀 수준 HPF는 LoG 필터의 분산 $\sigma^2$로 제어하며, 탐색 실험을 통해 $\sigma = 0.01$ 가 최적의 값을 나타낸다.
• RGB 및 회색조 이미지에 모두 BiHPF 프로세스를 적용하여 색상 정보가 도메인 간 성능에 미치는 영향을 평가한다.
• 백본 네트워크로 ResNet-50를 사용하여 훈련 및 평가하며, 정확도(Acc.)와 평균 정밀도(A.P.)를 테스트 세트 및 도메인 간 세트에서 성능 측정 지표로 사용한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 이미지의 주파수 도메인 아티팩트는 일관되게 활용되어 도메인 간 딥페이크 검출 성능을 향상시킬 수 있는가?
• RQ2 주파수 수준과 픽셀 수준의 고역통과 필터링 조합이 다양한 GAN 모델 및 이미지 카테고리에서 검출 강건성을 어떻게 향상시키는가?
• RQ3 입력 이미지의 색상 정보가 딥페이크 검출기의 일반화 능력에 얼마나 영향을 미치는가?
• RQ4 LoG 필터의 분산 $\sigma$와 같은 하이퍼파rameter에 대해 검출 성능는 얼마나 민감한가?
• RQ5 저역통과 필터를 통해 고주파 성분을 제거하면 검출 성능가 심각하게 저하되는가? 이는 고주파 아티팩트의 중요성을 확인하는 데 기여하는가?

주요 결과

• RGB 이미지를 입력으로 사용할 경우 BiHPF는 테스트 카테고리에서 99.6%의 정확도와 99.5%의 평균 정밀도를 기록하여 강력한 내도메인 성능을 입증한다.
• 예측 불가능한 도메인 간 카테고리에서는 주파수 수준의 크기 스펙트럼을 입력으로 사용했을 때 68.2%의 정확도와 68.1%의 평균 정밀도를 기록하며, 기준선 방법보다 뚜렷한 성능 향상을 보였다.
• LoG 필터의 최적 하이퍼파rameter는 $\sigma = 0.01$ 로 확인되었으며, 이 값에서 벗어날수록 성능 저하가 발생하며, 특히 도메인 간 설정에서 더욱 두드러졌다.
• 주파수 수준 HPF를 저역통과 필터로 교체하면 성능이 급격히 저하되었으며, 이는 고주파 성분이 GAN 아티팩트 검출에 필수적임을 확인한다.
• 회색조 입력은 RGB 입력보다 도메인 간 성능을 향상시켰다—정확도 76.1%, 평균 정밀도 75.3%—색상 정보가 도메인 특화된 편향을 유도하여 일반화 능력을 저하시키는 것으로 나타났다.
• 주파수 수준 HPF가 픽셀 수준 HPF보다 더 큰 성능 향상 기여를 하였으며, 이는 푸리에 도메인에서 고주파 아티팩트를 강조하는 것이 매우 중요하다는 점을 강조한다.