[논문 리뷰] ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis

Yinan He, Bei Gan외 7명|arXiv (Cornell University)|2021. 03. 09.

Digital Media Forensic Detection참고 문헌 57인용 수 4

한 줄 요약

ForgeryNet는 290만张의 이미지와 221,247개의 영상으로 구성된 대규모 다중 작업 기준 데이터셋으로, 종합적인 얼굴 위조 분석을 위해 설계되었다. 이 데이터셋은 15종의 이미지 수준 및 8종의 영상 수준 위조 기법과 36종의 재렌더링 편향을 활용하여 이미지/영상 위조 분류, 공간적 위조 국소화, 시간적 위조 국소화의 4가지 작업을 지원하며, 다양한 실제 환경 조건에서 위조 탐지 모델의 강건한 평가를 가능하게 한다.

ABSTRACT

The rapid progress of photorealistic synthesis techniques has reached at a critical point where the boundary between real and manipulated images starts to blur. Thus, benchmarking and advancing digital forgery analysis have become a pressing issue. However, existing face forgery datasets either have limited diversity or only support coarse-grained analysis. To counter this emerging threat, we construct the ForgeryNet dataset, an extremely large face forgery dataset with unified annotations in image- and video-level data across four tasks: 1) Image Forgery Classification, including two-way (real / fake), three-way (real / fake with identity-replaced forgery approaches / fake with identity-remained forgery approaches), and n-way (real and 15 respective forgery approaches) classification. 2) Spatial Forgery Localization, which segments the manipulated area of fake images compared to their corresponding source real images. 3) Video Forgery Classification, which re-defines the video-level forgery classification with manipulated frames in random positions. This task is important because attackers in real world are free to manipulate any target frame. and 4) Temporal Forgery Localization, to localize the temporal segments which are manipulated. ForgeryNet is by far the largest publicly available deep face forgery dataset in terms of data-scale (2.9 million images, 221,247 videos), manipulations (7 image-level approaches, 8 video-level approaches), perturbations (36 independent and more mixed perturbations) and annotations (6.3 million classification labels, 2.9 million manipulated area annotations and 221,247 temporal forgery segment labels). We perform extensive benchmarking and studies of existing face forensics methods and obtain several valuable observations.

연구 동기 및 목표

• 사진 수준의 위조 기술 증가에 대응하기 위해 확장 가능하고 다양한 종류의 현실적인 기준 데이터셋을 구축하여 탐지 연구를 지원한다.
• 기존 데이터셋의 한계를 극복하기 위해, 소규모 규모, 위조 기법의 다양성 부족, 현실적인 편향의 부재 문제를 해결한다.
• 이미지 수준 및 영상 수준 작업, 공간적 및 시간적 국소화를 포함하여 위조 탐지 모델의 종합적 평가를 가능하게 한다.
• 이진 분류뿐 아니라 세분화된 분류(예: 15가지 위조 유형에 대한 n-way 분류)를 지원하여 실제 위조 탐지 요구사항을 반영한다.
• 이미지, 영상, 시간적 세그먼트 수준의 풍부한 애너테이션을 제공하여 종단 간 위조 분석 파이프라인을 지원한다.

제안 방법

• Creative Commons 라이선스를 가진 4개의 공개 데이터셋에서 유래한 자연스럽고 다양한 원천 데이터를 활용하여 ForgeryNet을 구축하며, 다양한 신원, 표정, 조명, 시점 등을 포함한다.
• GAN, RNN, 오토에인코더 등의 모델을 활용하여 15종의 딥러닝 기반 이미지 위조 기법(예: 얼굴 교체, 재연출, 편집)과 8종의 영상 수준 기법을 적용한다.
• 실제 미디어 전송 및 열화를 시뮬레이션하기 위해 36종의 독립적이고 혼합된 재렌더링 편향(예: 압축, 블러, 노이즈)을 적용한다.
• 630만 개의 분류 레이블, 290만 개의 공간적 세그먼테이션 마스크(위조 영역), 221,247개의 시간적 위조 세그먼트 레이블을 애너테이션한다.
• 4가지 평가 작업을 설계한다: (1) 이항, 삼항, n항 이미지 위조 분류; (2) 공간적 위조 국소화; (3) 무작위 프레임 위조를 포함한 영상 수준 위조 분류; (4) 시간적 위조 국소화.
• 표준 프로토콜을 사용하여 교차 엔트로피 손실, 종단 간 훈련, 다중 코너 인퍼런스 전략을 적용해 최신 모델들(SlowFast, X3D-M, BSN, BMN)을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 실제 위조 탐지 환경에서 데이터 편향 및 재렌더링 수준에 따라 모델 성능은 어떻게 변하는가?
• RQ2 기존 위조 탐지 모델은 예측 불가능한 위조 기법과 복잡한 혼합 편향에 대해 얼마나 일반화되는가?
• RQ3 위조가 균일하게 분포하지 않은 경우, 이미지의 위조 영역 및 영상의 시간적 세그먼트 국소화 능력은 얼마나 효과적인가?
• RQ4 영상 기반 위조 분류에서 시간적 연속성과 프레임 순서의 영향은 어떠한가?
• RQ5 제안된 기준 데이터셋은 더 작은, 다각도가 부족한 데이터셋으로는 드러나지 않는 현재 모델의 한계를 드러낼 수 있는가?

주요 결과

• ForgeryNet은 290만 장의 이미지와 221,247개의 영상로 구성된 가장 큰 공개된 딥러닝 기반 얼굴 위조 데이터셋이며, 15종의 이미지 수준 및 8종의 영상 수준 위조 기법을 지원한다.
• 36종의 고유한 재렌더링 편향을 포함하여 실제 미디어 열화를 시뮬레이션하고 탐지 난이도를 증가시킨다.
• 영상 수준 위조 분류 모델은 시간적 섞음에 대해 강건성을 보이며, 약한 섞음(매 16프레임) 조건에서 AUC 점수가 94.11로 나타나 비시간적 신호에 의존함을 시사한다.
• 이미지 수준 모델은 영상 수준 모델보다 데이터 증강에 더 민감하며, 강한 증강 조건에서 정확도가 약한 조건(84.39%)에서 85.04%로 약간 상승한다.
• 경계 인식 시간 국소화 모델(BMN 등)은 실제와 위조 세그먼트 간 전이점 식별에 높은 정밀도를 보이며, SoftNMS는 중복 예측을 억제한다.
• 이 기준 데이터셋은 최신 모델들이 세분화된 위조 유형 분류 및 예측 불가능한 위조 기법과 편향에 대한 일반화 능력에서 여전히 어려움을 겪고 있음을 드러낸다.