[논문 리뷰] Fake face detection via adaptive manipulation traces extraction network

Zhiqing Guo, Gaobo Yang외 2명|arXiv (Cornell University)|2020. 05. 11.

Digital Media Forensic Detection참고 문헌 56인용 수 7

한 줄 요약

이 논문은 적응형 조작 흔적 추출 네트워크인 AMTEN을 제안하며, 적응형 컨볼루션을 통해 동적으로 미세한 조작 흔적을 식별하고 증폭함으로써 가짜 얼굴 검출을 향상시킨다. AMTENnet라는 CNN 기반 검출기와 통합되어 기존 FIM 기법에 대해 평균 98.52%의 정확도를 달성하고, 예측할 수 없는 후처리 작업에 대해서도 95.17%의 정확도를 기록하여 최신 기술 대비 뚜렷한 승리를 거두었다.

ABSTRACT

With the proliferation of face image manipulation (FIM) techniques such as Face2Face and Deepfake, more fake face images are spreading over the internet, which brings serious challenges to public confidence. Face image forgery detection has made considerable progresses in exposing specific FIM, but it is still in scarcity of a robust fake face detector to expose face image forgeries under complex scenarios such as with further compression, blurring, scaling, etc. Due to the relatively fixed structure, convolutional neural network (CNN) tends to learn image content representations. However, CNN should learn subtle manipulation traces for image forensics tasks. Thus, we propose an adaptive manipulation traces extraction network (AMTEN), which serves as pre-processing to suppress image content and highlight manipulation traces. AMTEN exploits an adaptive convolution layer to predict manipulation traces in the image, which are reused in subsequent layers to maximize manipulation artifacts by updating weights during the back-propagation pass. A fake face detector, namely AMTENnet, is constructed by integrating AMTEN with CNN. Experimental results prove that the proposed AMTEN achieves desirable pre-processing. When detecting fake face images generated by various FIM techniques, AMTENnet achieves an average accuracy up to 98.52%, which outperforms the state-of-the-art works. When detecting face images with unknown post-processing operations, the detector also achieves an average accuracy of 95.17%.

연구 동기 및 목표

• 딥페이크 및 패이스2패이스와 같은 고도화된 기법으로 생성된 사진 수준의 가짜 얼굴 이미지를 탐지하는 데 도전한다.
• 이미지 포렌식에서 미세한 조작 흔적보다 콘텐츠 표현을 우선시하는 표준 CNN의 한계를 극복한다.
• JPEG 압축, 흐림 처리, 크기 조정과 같은 예측할 수 없는 후처리 작업에 대해 일반화 능력이 뛰어난 강력한 가짜 얼굴 검출기 개발.
• 소셜 미디어에서 퍼지는 데 일반적으로 변형된 이미지가 포함된 실생활 조건에서의 검출 성능 향상.

제안 방법

• 백프로파게이션 동안 조작 흔적을 예측하고 가중치를 업데이트하여 조작 흔적 탐지를 최대화하는 적응형 컨볼루션 레이어를 AMTEN에 제안한다.
• 표준 CNN의 전처리 모듈로 AMTEN을 통합하여 콘텐츠 표현을 억제하고 포렌식적 흔적을 강조한다.
• 일반화 능력을 향상시키기 위해 다양한 후처리 작업(예: JP-mix, ME-mix)을 포함한 혼합 데이터셋으로 AMTENnet를 훈련한다.
• JPEG 압축, 가우시안 블러, 중앙값 필터링과 같은 작업의 혼합 파rameter를 활용한 데이터 증강을 통해 실생활 이미지 열화를 시뮬레이션한다.
• 원본 이미지와 처리된 이미지를 비교하여 잔여 학습을 활용해 조작으로 인해 유발된 일관성 없는 요소를 강조한다.
• 조작 흔적 추출과 분류를 동시에 최적화하기 위해 AMTENnet의 엔드 투 엔드 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 적응형 컨볼루션 기반 모듈은 표준 CNN이 감지하지 못하는 미세한 조작 흔적을 효과적으로 추출할 수 있는가?
• RQ2 AMTENnet는 스타일 제너레이티브 어드바이저 모델, 글로우, 패이스2패이스와 같은 다양한 FIM 기법으로 생성된 가짜 얼굴 이미지를 탐지하는 데 얼마나 잘 작동하는가?
• RQ3 혼합 후처리 작업으로 훈련하면 검출기의 예측 불가능한 이미지 조작에 대한 강건성은 어느 정도 향상되는가?
• RQ4 실생활 상황에서 예측 불가능한 후처리 작업인 GB-mix, MED-mix, SC-mix에 대해 AMTENnet는 얼마나 잘 일반화되는가?

주요 결과

• AMTENnet는 글로우, 스타일 제너레이티브 어드바이저 모델, PGGAN, 패이스2패이스, 스타건 등 다섯 가지 공통적인 FIM 기법에 대해 평균 98.52%의 탐지 정확도를 기록하며, MISLnet보다 뚜렷한 승리를 거두었다.
• 예측할 수 없는 후처리 작업에 대해 테스트한 결과, AMTENnet는 평균 95.17%의 정확도를 유지하여 강력한 일반화 능력을 입증했다.
• 혼합 데이터(예: JP-mix, ME-mix)로 훈련하면 탐지 성능이 향상되며, 대규모 혼합 데이터셋에서 평균 정확도가 91.66%로 상승했다.
• 혼합 데이터로 훈련된 검출기는 GB-mix(대규모 세트에서 96.06% 정확도) 및 SC-mix(대규모 세트에서 95.34% 정확도)와 같은 다른 작업으로도 효과적으로 일반화되었다.
• AMTEN은 Constrained-conv 및 SRM과 같은 기준 방법보다 잔여 추출에서 뛰어난 성능을 보이며, MISLnet 대비 평균 정확도 7.61% 향상에 기여했다.
• 적응형 컨볼루션 메커니즘은 백프로파게이션 중 예측된 흔적을 레이어 간에 재사용하여 조작 흔적을 성공적으로 증폭시켰다.