[논문 리뷰] Block shuffling learning for Deepfake Detection

Sitong Liu, Zhichao Lian외 2명|arXiv (Cornell University)|2022. 02. 06.

Digital Media Forensic Detection인용 수 7

한 줄 요약

이 논문은 블록 셔플링 학습(BSL)을 제안하며, 공간 차원을 통해 가중치 공유를 유도하기 위해 내부 및 상호 블록 셔플링을 적용함으로써 일반화 능력을 향상시키는 딥페이크 탐지의 새로운 정규화 방법이다. 셔플링과 적대적 손실, 공간 복원을 결합함으로써, 알려지지 않은 위조 방법과 일반적인 이미지 변환에 대해 강건성을 향상시키며, 크로스데이터셋 평가에서 기존 방법을 능가하고 다양한 CNN 백본과 원활하게 통합된다.

ABSTRACT

Deepfake detection methods based on convolutional neural networks (CNN) have demonstrated high accuracy. extcolor{black}{However, these methods often suffer from decreased performance when faced with unknown forgery methods and common transformations such as resizing and blurring, resulting in deviations between training and testing domains.} This phenomenon, known as overfitting, poses a significant challenge. To address this issue, we propose a novel block shuffling regularization method. Firstly, our approach involves dividing the images into blocks and applying both intra-block and inter-block shuffling techniques. This process indirectly achieves weight-sharing across different dimensions. Secondly, we introduce an adversarial loss algorithm to mitigate the overfitting problem induced by the shuffling noise. Finally, we restore the spatial layout of the blocks to capture the semantic associations among them. Extensive experiments validate the effectiveness of our proposed method, which surpasses existing approaches in forgery face detection. Notably, our method exhibits excellent generalization capabilities, demonstrating robustness against cross-dataset evaluations and common image transformations. Especially our method can be easily integrated with various CNN models. Source code is available at \href{https://github.com/NoWindButRain/BlockShuffleLearning}{Github}.

연구 동기 및 목표

• 다양한 위조 방법과 이미지 변환으로 인해 발생하는 불안정한 局부 특징에 대한 의존성으로 인한 딥페이크 탐지에서의 과적합 문제를 해결하기 위해.
• 픽셀 값에 영향을 주지 않으면서도 공간 차원을 통해 가중치 공유를 강제하는 정규화 메커니즘을 도입하여 모델의 일반화 능력을 향상시키기 위해.
• 블록 셔플링과 복원을 통해 국소 영역의 특징 학습을 향상시키면서도 전반적인 의미적 구조를 유지하기 위해.
• Xception, ResNet50, EfficientNet-B4와 같은 다양한 CNN 아키텍처와의 호환성과 성능 향상을 확보하기 위해.
• 무작위 셔플링 연산으로 인한 노이즈를 제거하기 위해 적대적 손실 구성 요소를 통해 허위 패턴을 걸러내기 위해.

제안 방법

• 입력 이미지를 겹치지 않는 공간 블록으로 나누고, 각 블록 내에서 내부 블록 셔플링을 적용하여 픽셀을 무작위로 재정렬함으로써 국소 특징의 강건성을 향상시킴.
• 내부 블록 셔플링으로 생성된 노이즈 패턴을 억제하기 위해 적대적 손실을 도입하여, 모델이 진짜와 위조 특징을 구분하는 능력을 향상시킴.
• 상호 블록 셔플링은 이미지 전반의 공간 구조를 재정렬함으로써 블록 간 순서를 뒤바꾸어, 네트워크가 국소 특징에 의존하도록 유도함.
• 위치 복원 모듈은 원래의 블록 배치를 재구성하여 인접 블록 간 의미적 상관관계를 모델링함으로써 맥락 정보를 유지함.
• 학습은 복수의 목적 함수를 갖는 엔드 투 엔드 프레임워크로 수행되며, 위조 탐지, 블록 셔플링, 위치 복원을 포함하고, 손실을 균형 조절하는 가속 가능한 초기화 파라미터 α와 β를 포함함.
• 이 방법은 아키텍처에 종속되지 않으며, Xception, ResNet50, EfficientNet-B4와 같은 기존 CNN 백본에 쉽게 통합될 수 있음.

실험 결과

연구 질문

• RQ1 알려지지 않은 위조 방법과 일반적인 이미지 변환으로 인한 분포 이탈 상황에서 블록 셔플링 정규화가 딥페이크 탐지의 일반화 능력을 향상시킬 수 있는가?
• RQ2 적대적 노이즈 필터링을 통한 내부 블록 셔플링은 불안정한 국소 위조 아티팩트로부터의 특징 학습을 어떻게 향상시키는가?
• RQ3 공간 복원과 함께 상호 블록 셔플링을 통해 국소 영역 간 의미적 관계를 포착하는 능력은 어느 정도 향상되는가?
• RQ4 탐지 정확도와 복원 정밀도를 균형 조절하기 위한 최적의 블록 크기와 초기화 파라미터 설정(α, β)은 무엇인가?
• RQ5 제안된 방법은 아키텍처 수정 없이 다양한 CNN 아키텍처 간 효과적으로 전이 가능한가?

주요 결과

• 제안된 BSL 방법은 EfficientNet-B4를 사용하여 FF++ HQ 데이터셋에서 탐지 AUC 97.92%를 달성하여, 백본 모델의 96.54%를 초월함.
• FF++의 LQ 버전에서 BSL은 EfficientNet-B4 기반 모델의 탐지 AUC를 76.93%에서 85.61%로 향상시켜 저품질 이미지에 대한 강건성을 입증함.
• 상호 블록 셔플링의 최적 블록 크기는 32×32이며, 이보다 작은 블록은 고수준 의미 정보 손실로 인해 성능 저하를 초래함.
• 초기화 파rameter 조정 결과, α=1 및 β=1이 최고의 탐지 성능을 보이며, 너무 크거나 너무 작은 값일 경우 성능 저하가 심함.
• 이 방법은 아키텍처 간에 잘 일반화되며, ResNet50 기준 1.56% 향상, EfficientNet-B4 기준 1.38% 향상으로 기존 기준 모델 대비 성능 향상.
• 크로스데이터셋 평가를 통해 BSL이 분포 이탈 상황에서도 강력한 성능을 유지함을 확인하여, 알려지지 않은 위조 방법과 이미지 변환에 대한 강건성을 입증함.