[논문 리뷰] Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection

Chuangchuang Tan, Ping Liu외 5명|arXiv (Cornell University)|2024. 03. 11.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 훈련이 필요 없는 데이터 독립형 연산자(DIO)를 제안한다. DIO는 고정된 수작업 필터 또는 무작위로 초기화된 컨볼루션 레이어를 사용하여 딥페이크 탐지에 일반화 가능한 아티팩트 표현을 추출한다. 콘텐츠를 억제하고 교차 도메인 아티팩트에 집중함으로써, DIO는 프로세스 토너먼트나 대규모 사전 훈련 없이도 33개의 미사용 생성 모델(예: DALL·E 및 Midjourney 포함)에서 최신 기술 수준(SOTA) 성능을 달성하며, 평균 정확도가 13.3% 향상된다.

ABSTRACT

Recently, the proliferation of increasingly realistic synthetic images generated by various generative adversarial networks has increased the risk of misuse. Consequently, there is a pressing need to develop a generalizable detector for accurately recognizing fake images. The conventional methods rely on generating diverse training sources or large pretrained models. In this work, we show that, on the contrary, the small and training-free filter is sufficient to capture more general artifact representations. Due to its unbias towards both the training and test sources, we define it as Data-Independent Operator (DIO) to achieve appealing improvements on unseen sources. In our framework, handcrafted filters and the randomly-initialized convolutional layer can be used as the training-free artifact representations extractor with excellent results. With the data-independent operator of a popular classifier, such as Resnet50, one could already reach a new state-of-the-art without bells and whistles. We evaluate the effectiveness of the DIO on 33 generation models, even DALLE and Midjourney. Our detector achieves a remarkable improvement of $13.3\%$, establishing a new state-of-the-art performance. The DIO and its extension can serve as strong baselines for future methods. The code is available at \url{https://github.com/chuangchuangtan/Data-Independent-Operator}.

연구 동기 및 목표

• 미사용 생성 모델에 직면했을 때 딥페이크 탐지기의 일반화 부족 문제를 해결하기 위해.
• 훈련 데이터 분포에 영향을 받지 않는 소스 불변 표현 추출기 개발을 위해.
• 아티팩트 표현 학습을 위해 대규모 사전 훈련 모델이나 광범위한 데이터 증강에 의존도를 줄이기 위해.
• 최소한의 계산 비용과 모델 미세조정 없이도 높은 성능 탐지 기능을 제공하기 위해.

제안 방법

• DIO 프레임워크는 훈련 중에 변경되지 않는 고정된 필터—수작업으로 만든 필터 또는 무작위로 초기화된 컨볼루션 레이어—를 사용하여 데이터 독립성을 확보한다.
• 이 필터들은 이미지 콘텐츠를 억제하고 저수준 아티팩트를 강조함으로써, 탐지기가 콘텐츠 특이 패턴이 아닌 위조 징후에 집중할 수 있도록 한다.
• 이 방법은 분류기(예: ResNet50)의 상游에 특징 추출기로 적용되며, 소스 도메인에 대한 적응이 필요하지 않다.
• 다중 DIO(MDIO) 확장은 서로 다른 유형의 필터를 가진 여러 DIO를 조합하여 표현의 다양성과 탐지의 강건성을 향상시킨다.
• 이 방법은 아키텍처에 종속되지 않으며, ResNet50 및 Xception을 포함한 어떤 백본 네트워크와도 통합 가능하다.
• 프레임워크는 GAN 및 확산 모델을 포함한 총 33개의 생성 모델을 포함하는 종합적인 벤치마크에서 종단 간(end-to-end) 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 학습 기반 접근 방식보다 훈련이 필요 없는 고정 필터 메커니즘이 더 일반화 가능한 아티팩트 표현을 추출할 수 있는가?
• RQ2 데이터 독립형 연산자가 딥페이크 탐지에서 미사용 생성 모델로의 제로샷 일반화를 향상시키는가?
• RQ3 무작위로 초기화된 컨볼루션 레이어가 위조 탐지에서 효과적인 소스 불변 특징 추출기로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 생성 모델에서 정확도와 파rameter 효율성 측면에서 DIO 프레임워크는 최신 기술 수준 방법과 어떻게 비교되는가?

주요 결과

• DIO 방법은 AIGCDetectBenchmark에서 평균 정확도 94.6%라는 새로운 최신 기술 수준(SOTA) 기록을 달성하며, UnivFD보다 13.3%포인트 높은 성능을 보였다.
• MDIO는 ProGAN으로 생성된 이미지만으로 훈련되었음에도 불구하고 CNNDet에 비해 21.42% 향상되었고, RPTC에 비해 2.9% 향상되었다.
• 이 방법은 DALL·E 및 Midjourney와 같은 확산 기반 모델으로도 효과적으로 일반화되며, MDIO는 미사용 확산 데이터에서 DIRE-G에 비해 23.52% 향상되고 DIRE-D에 비해 20.67% 향상되었다.
• 다양한 무작위 시드에서 성능이 안정적이며, 평균 정확도가 91.1%에서 93.7% 사이로 변동하여 강건성을 확인했다.
• DIO 프레임워크는 UnivFD의 10분의 1 미만의 파라미터로 SOTA 성능를 달성하여 높은 효율성을 입증했다.
• t-SNE 시각화 결과 DIO가 소스 불변 표현을 학습함을 확인했으며, 이는 단일 소스에서 훈련된 경우에도 다양한 도메인의 위조 이미지를 탐지할 수 있음을 의미한다.