[논문 리뷰] Fake Face Detection via Adaptive Residuals Extraction Network

Zhiqing Guo, Gaobo Yang외 2명|arXiv (Cornell University)|2020. 05. 11.

Digital Media Forensic Detection참고 문헌 74인용 수 11

한 줄 요약

이 논문은 적응형 컨볼루션 레이어를 통해 콘텐츠 표현을 억제하고 미세한 변조 흔적을 강화함으로써 가짜 얼굴 검출을 향상시키는 적응형 잔차 추출 네트워크(AREN)를 제안한다. ARENnet에 통합된 이 방법은 알려진 얼굴 변조 기법에서 평균 98.52%의 정확도를 달성하고, 알려지지 않은 후처리 작업에서는 95.17%의 정확도를 기록하여 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

With the proliferation of face image manipulation (FIM) techniques such as Face2Face and Deepfake, more fake face images are spreading over the internet, which brings serious challenges to public confidence. Face image forgery detection has made considerable progresses in exposing specific FIM, but it is still in scarcity of a robust fake face detector to expose face image forgeries under complex scenarios. Due to the relatively fixed structure, convolutional neural network (CNN) tends to learn image content representations. However, CNN should learn subtle tampering artifacts for image forensics tasks. We propose an adaptive residuals extraction network (AREN), which serves as pre-processing to suppress image content and highlight tampering artifacts. AREN exploits an adaptive convolution layer to predict image residuals, which are reused in subsequent layers to maximize manipulation artifacts by updating weights during the back-propagation pass. A fake face detector, namely ARENnet, is constructed by integrating AREN with CNN. Experimental results prove that the proposed AREN achieves desirable pre-processing. When detecting fake face images generated by various FIM techniques, ARENnet achieves an average accuracy up to 98.52%, which outperforms the state-of-the-art works. When detecting face images with unknown post-processing operations, the detector also achieves an average accuracy of 95.17%.

연구 동기 및 목표

• Deepfake 및 Face2Face와 같은 고도로 발전한 얼굴 이미지 변조(FIM) 기법에 의해 생성된 가짜 얼굴 이미지를 탐지하는 데 도전하는 것.
• 이미지 포렌식 분야에서 미세한 변조 흔적을 학습하는 데에 한계가 있는 표준 CNN의 문제를 해결하는 것.
• 알 수 없는 후처리 작업이 적용된 복잡한 실생활 시나리오에서도 강력한 성능을 발휘할 수 있는 사전처리 모듈을 개발하는 것.
• 적응형 잔차 학습을 통해 알려진 및 알려지지 않은 얼굴 변조 기법 모두에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 학습 중에 잔차를 예측하고 개선하기 위해 적응형 컨볼루션 레이어를 사용하는 적응형 잔차 추출 네트워크(AREN)를 제안한다.
• 예측된 잔차를 후속 레이어에서 재사용하여 네트워크 가중치를 동적으로 업데이트하고 변조 흔적의 강도를 극대화한다.
• AREN을 CNN 기반 검출기의 사전처리 모듈로 통합하여 ARENnet를 구성함으로써 포르지 포렌식을 위한 특징 학습을 향상시킨다.
• 백프로파게이션을 통해 네트워크를 엔드 투 엔드로 훈련시켜 적응형 컨볼루션 레이어가 작업에 특화된 잔차 패턴을 학습하도록 한다.
• 컨볼루션 레이어의 적응성 덕분에 입력 특징에 따라 커널 가중치를 조정함으로써 미세한 흔적에 대한 민감도를 향상시킨다.
• 안정적인 이미지 콘텐츠를 억제하고 변조의 징후가 되는 비일관성 있거나 비자연스러운 영역을 강조하도록 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 적응형 잔차 추출 메커니즘이 가짜 얼굴 이미지의 미세한 변조 흔적 탐지에 기여할 수 있는가?
• RQ2 기존 최신 기술 대비 ARENnet는 알려진 얼굴 변조 기법에서 어떤 성능을 보이는가?
• RQ3 제안된 방법은 알려지지 않은 후처리 작업을 거친 가짜 얼굴 이미지에 대해 얼마나 잘 일반화되는가?
• RQ4 적응형 잔차 추출 통합이 복잡한 실생활 포르지 포렌식 시나리오에서 딥러닝 모델의 강건성을 향상시키는가?

주요 결과

• ARENnet는 다양한 알려진 얼굴 이미지 변조 기법으로 생성된 가짜 얼굴 이미지에서 평균 98.52%의 탐지 정확도를 달성한다.
• 제안된 방법은 알려지지 않은 후처리 작업을 거친 가짜 얼굴 이미지에서도 95.17%의 평균 정확도를 유지하여 뛰어난 일반화 능력을 보인다.
• 적응형 컨볼루션 레이어는 훈련 중에 콘텐츠 표현을 효과적으로 억제하고 변조 흔적에 대한 민감도를 향상시킨다.
• ARENnet는 알려진 및 알려지지 않은 변조 시나리오 모두에서 기존 최신 기술보다 뛰어난 성능을 보이며, 뛰어난 강건성을 입증한다.
• AREN의 사전처리 역할은 후행 CNN 기반 검출기의 특징 학습 능력을 크게 향상시킨다.
• 제거 실험을 통해 적응형 잔차 학습이 최종 탐지 성능에 상당한 기여를 한다는 것이 확인되었다.