[논문 리뷰] DefakeHop: A Light-Weight High-Performance Deepfake Detector

Hong-Shuo Chen, Mozhdeh Rouhsedaghat외 4명|arXiv (Cornell University)|2021. 03. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 13

한 줄 요약

DefakeHop는 얼굴 패치에서 압축되고 특징적인 특징을 추출하기 위해 PixelHop++와 새로운 특징 정련 모듈을 사용하는 경량이며 고성능 딥페이크 검출 방법이다. 단지 42,845개의 파라미터만을 사용하여 UADFV, Celeb-DF v1, Celeb-DF v2에서 각각 100%, 94.95%, 90.56%의 최고 성능 AUC 스코어를 기록했으며, 최소한의 훈련 데이터로도 충분하고 모바일 배포가 가능하다.

ABSTRACT

A light-weight high-performance Deepfake detection method, called DefakeHop, is proposed in this work. State-of-the-art Deepfake detection methods are built upon deep neural networks. DefakeHop extracts features automatically using the successive subspace learning (SSL) principle from various parts of face images. The features are extracted by c/w Saab transform and further processed by our feature distillation module using spatial dimension reduction and soft classification for each channel to get a more concise description of the face. Extensive experiments are conducted to demonstrate the effectiveness of the proposed DefakeHop method. With a small model size of 42,845 parameters, DefakeHop achieves state-of-the-art performance with the area under the ROC curve (AUC) of 100%, 94.95%, and 90.56% on UADFV, Celeb-DF v1 and Celeb-DF v2 datasets, respectively.

연구 동기 및 목표

• 최소한의 계산 비용으로 모바일 배포에 적합한 경량 딥페이크 검출 시스템을 개발하기 위해.
• 높은 파라미터 수와 비싼 훈련 비용을 포함한 대규모 딥러닝 모델의 한계를 극복하면서도 높은 검출 정확도를 유지하기 위해.
• 연속적인 부분공간 학습과 공간-스펙트럼 특징 정련을 활용하여 딥페이크 검출을 위한 특징 표현을 향상시키기 위해.
• 성능을 희생시키지 않은 채 훈련 샘플 수를 줄여 더 빠르고 효율적인 모델 훈련을 가능하게 하기 위해.
• 비딥러닝 기반 접근법을 사용하여 벤치마크 데이터셋에서 최고 성능의 검출 성능를 달성하기 위해.

제안 방법

• DefakeHop는 연속 부분공간 학습(SSL) 원리를 기반으로 한 PixelHop++ 유닛을 사용하여 c/w Saab 변환을 통해 얼굴 패치에서 계층적 특징을 추출한다.
• 특징 정련 모듈은 공간 차원 감소를 통해 공간 중복성을 줄이고 채널별 소프트 분류를 통해 의미적 콘텐츠를 강화한다.
• 이 방법은 여러 얼굴 영역(예: 눈, 코, 입)의 특징을 처리하고 앙상블 분류를 통해 융합하여 강건성을 향상시킨다.
• 각 힙에서 공간적 주성분 분석(PCA)을 적용하여 특징 차원을 줄이고 에너지의 90%를 유지함으로써 압축된 표현을 확보한다.
• 정련된 특징에 대해 채널별로 XGBoost 분류기를 훈련한 후, 최종 결정을 내리기 위해 앙상블 XGBoost를 사용한다.
• 모델는 소량의 영상으로 종단 간 훈련이 가능하며, 제한된 데이터로부터도 뛰어난 일반화 성능를 보여준다.

실험 결과

연구 질문

• RQ1 비딥러닝 기반 방법이 최소한의 모델 크기로 최고 성능의 딥페이크 검출 성능를 달성할 수 있는가?
• RQ2 PixelHop++를 통한 연속 부분공간 학습은 고해상도 얼굴 패치에서 딥페이크 검출을 위한 분류 가능한 특징를 효과적으로 캡처할 수 있는가?
• RQ3 특징 정련이 모델 복잡도를 줄이면서도 검출 정확도를 얼마나 향상시키는가?
• RQ4 딥러닝 기반 기준 대비 훨씬 적은 훈련 샘플로 DefakeHop가 잘 일반화될 수 있는가?
• RQ5 특히 압축된 영상에서 모델의 성능는 어떻게 되는가?

주요 결과

• DefakeHop는 UADFV 데이터셋에서 100% AUC를 기록하여 벤치마크에서 모든 다른 방법보다 뛰어난 성능를 보였다.
• Celeb-DF v1에서 DefakeHop는 94.95% AUC를 기록하여 비딥러닝 방법 중 최고 성능를 달성했다.
• Celeb-DF v2에서 90.56% AUC를 기록하여 다양한 딥페이크 생성 기법에 대해 강력한 일반화 성능를 보였다.
• 단지 250개의 훈련 영상(약 Celeb-DF v2의 5%)으로도 85% AUC에 도달하여 뛰어난 샘플 효율성을 보였다.
• 저품질 영상 조건에서도 성능 저하가 있었지만, DefakeHop는 강력한 성능를 유지했으며, LQ(c40) FF++ 영상에서 AUC가 5% 감소하는 데 그쳤다.
• 최종 모델 크기는 단지 42,845개의 파라미터로, 매우 높은 모바일 및 엣지 배포 적합성을 지녔다.