[논문 리뷰] Representative Forgery Mining for Fake Face Detection

Chengrui Wang, Weihong Deng|arXiv (Cornell University)|2021. 04. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 10

한 줄 요약

이 논문은 대규모 페이크 얼굴 검출 성능 향상을 위해 기존에 간과되었던 대표적인 허위 영역에 초점을 맞추는 어텐션 기반 데이터 증강 방법인 대표성 허위 마이닝(RFM)을 제안한다. 허위 주의도 맵(Forgery Attention Map, FAM)을 생성하고, 위험한 허위 제거(Suspicious Forgeries Erasing, SFE)를 통해 상위 민감도가 높은 얼굴 영역을 가림으로써, RFM는 디테크터의 일반화 능력을 향상시키고, 아키텍처 변경 없이 DFFD 및 Celeb-DF에서 최고 성능을 달성한다.

ABSTRACT

Although vanilla Convolutional Neural Network (CNN) based detectors can achieve satisfactory performance on fake face detection, we observe that the detectors tend to seek forgeries on a limited region of face, which reveals that the detectors is short of understanding of forgery. Therefore, we propose an attention-based data augmentation framework to guide detector refine and enlarge its attention. Specifically, our method tracks and occludes the Top-N sensitive facial regions, encouraging the detector to mine deeper into the regions ignored before for more representative forgery. Especially, our method is simple-to-use and can be easily integrated with various CNN models. Extensive experiments show that the detector trained with our method is capable to separately point out the representative forgery of fake faces generated by different manipulation techniques, and our method enables a vanilla CNN-based detector to achieve state-of-the-art performance without structure modification.

연구 동기 및 목표

• 기본적인 CNN 검출기가 좁은 얼굴 영역에 과도하게 집중하여 더 넓고 대표적인 허위를 놓치는 한계를 해결하기 위해.
• 더 명백하지는 않지만 대표적인 허위 영역에 주의를 기울이도록 유도하기 위해 훈련 데이터를 개선하여 검출기의 일반화 능력을 향상시키기 위해.
• 모델 아키텍처 수정 없이도 기본 CNN 검출기가 최고 성능을 달성할 수 있도록 하기 위해.
• 특정 변조 기법에 특화된 대표성 있는 허위를 시각화하고 마이닝하기 위해, 허위 영역의 레이블이 필요로 하지 않기 위해.

제안 방법

• 기울기 기반 시각화를 사용하여 이미지 수준의 허위 주의도 맵(Forgery Attention Map, FAM)을 생성하여, 검출기에 대해 가장 민감한 상위-N 얼굴 영역을 식별한다.
• 위험한 허위 제거(Suspicious Forgeries Erasing, SFE)를 적용하여 상위-N 민감도 영역을 가림으로써, 검출기가 이전에 간과된 얼굴 영역을 탐색하도록 유도한다.
• 가림 처리된 데이터를 반복적으로 활용하여 훈련 중 검출기를 개선함으로써, 더 대표적이고 구분력 있는 허위 패tern에 주의를 기울이도록 유도한다.
• 허위 얼굴의 평균 FAM을 사용하여 각 변조 기법에 따라 대표성 있는 허위 영역를 시각화하고 군집화한다.
• 아키텍처 변경 없이도 어떤 CNN 모델과도 RFM를 통합할 수 있어 즉시 사용이 가능하다.
• 세분화된 의미 정보를 활용하여 허위성이 낮은 허위 얼굴을 생성하여, 강건성 평가에 활용한다.

실험 결과

연구 질문

• RQ1 검출기의 주의를 덜 다뤄진 얼굴 영역에 유도하는 데이터 증강 기법이 페이크 얼굴 검출 성능을 향상시킬 수 있는가?
• RQ2 RFM는 감독 없이도 다양한 변조 기법에 걸쳐 대표성 있는 허위를 식별할 수 있는가?
• RQ3 RFM는 기술적 허위가 극히 적은 페이크 얼굴에 대해 검출 성능에 어떤 영향을 미치는가?
• RQ4 RFM가 생성한 평균 FAM은 변조 기법의 유형에 따라 클러스터링 패턴을 드러내는가?
• RQ5 RFM는 실생활에서 허위 콘텐츠 비율이 낮은 페이크 얼굴에 대해 검출기의 강건성을 어느 정도 향상시키는가?

주요 결과

• DFFD에서 RFM는 기존 연구 대비 0.1% FPR에서 TDR을 6.16% 향상시키고, 0.01% FPR에서 6.61% 향상시켰다.
• RFM로 훈련된 검출기는 기술적 허위가 극히 적은 페이크 얼굴에서도 유의미하게 높은 성능 유지를 보였으며, 특히 눈, 코, 입 또는 얼굴 피부만 변조된 경우에 뚜렷한 향상이 있었다.
• 평균 FAM 시각화 결과, RFM는 두 단계 기법의 경우 얼굴 경계선, 한 단계 기법의 경우 전체 피부 영역에 주의를 기울이도록 유도하는 것으로 나타났다.
• 유사한 변조 기법의 FAM는 높은余弦 유사도를 보이며, 이는 RFM가 기법 유형에 따라 허위 패턴을 군집화할 수 있음을 시사한다.
• 4~256개의 영상 프레임에 대해 평균 FAM를 계산한 결과, 4개 프레임으로도 구분력 있는 허위 윤곽을 포착할 수 있었으며, 256개 프레임에서 완전한 세부 정보가 드러났다.
• 이 방법을 통해 기본 Xception 기반 검출기 역시 아키텍처 변경 없이 DFFD 및 Celeb-DF 벤치마크에서 최고 성능을 달성할 수 있었다.