[논문 리뷰] DeeperForensics Challenge 2020 on Real-World Face Forgery Detection: Methods and Results

Liming Jiang, Zhengkui Guo외 19명|arXiv (Cornell University)|2021. 02. 18.

Face recognition and analysis참고 문헌 26인용 수 8

한 줄 요약

이 논문은 DeeperForensics-1.0 데이터셋을 사용한 대규모 실세계 환경에서의 얼굴 위조 탐지 경쟁인 DeeperForensics Challenge 2020을 제시한다. 이 데이터셋은 60,000개의 영상과 1,760만 개의 프레임을 포함한다. 수상한 방법들은 EfficientNet-b5와 같은 강력한 백본, 주로 어텐션 메커니즘을 통한 시간적 모델링, 다양한 데이터 증강 기법을 적용한 3D CNN을 활용하여, 다양한 왜곡과 예측되지 않은 위조 기법이 존재하는 은닉 테스트 세트에서 높은 성능을 달성하였다.

ABSTRACT

This paper reports methods and results in the DeeperForensics Challenge 2020 on real-world face forgery detection. The challenge employs the DeeperForensics-1.0 dataset, one of the most extensive publicly available real-world face forgery detection datasets, with 60,000 videos constituted by a total of 17.6 million frames. The model evaluation is conducted online on a high-quality hidden test set with multiple sources and diverse distortions. A total of 115 participants registered for the competition, and 25 teams made valid submissions. We will summarize the winning solutions and present some discussions on potential research directions.

연구 동기 및 목표

• 알 수 없는 원천과 다양한 왜곡이 존재하는 실세계 환경에서 최신 기술 수준의 얼굴 위조 탐지 기술을 향상시키기 위해.
• 학습 데이터보다 분포가 richer한 은닉 테스트 세트에서 탐지 모델의 일반화 능력을 평가하기 위해.
• 딥페이크 영상 탐지에서 강건성과 성능 향상에 기여하는 핵심 방법론적 구성 요소를 규명하기 위해.
• 위조 탐지에서 데이터 증강, 백본 아키텍처, 시간적 모델링의 효과를 벤치마킹하기 위해.
• 예측되지 않은 위조 기법과 실세계 왜곡에 대한 일반화를 촉진하기 위한 연구를 자극하기 위해.

제안 방법

• 60,000개의 영상과 1,760만 개의 프레임을 포함하는 DeeperForensics-1.0 데이터셋을 활용하였으며, 이는 종단간 얼굴 교체 프레임워크(DF-VAE)를 통해 생성되었고, 일곱 가지 실세계 왜곡이 적용되었다.
• 이중 단계 학습 전략을 사용하였다: 먼저 EfficientNet-b5를 기반으로 이미지 기반 분류기의 사전 학습을 수행한 후, 영상 수준의 동적 특성을 모델링하기 위해 시간적 어텐션 모듈을 통한 미세조정을 실시하였다.
• DeeperForensics-1.0 구현에서 유도된 다양한 데이터 증강 기법을 적용하였으며, 이에는 무작위 컷팅, 플립, 밝기 대비 조정 등이 포함되었다.
• 64×224×224 또는 64×112×112 크기로 리사이징된 얼굴 클립에 대해 3D CNN(I3D, 3D ResNet, R(2+1)D)를 사용하였으며, 이는 액션 인식을 위한 Kinetics 데이터셋에서 사전 학습된 상태였다.
• 모델의 일반화 및 강건성을 향상시키기 위해 외부 데이터셋(DFDC, DeepFake Detection, FaceForensics++)을 통합하였다.
• 테스트 시점 증강(플립)과 [0.01, 0.99] 범위 내 절단을 적용하여 예측의 안정성 향상과 극단적 손실 영향 감소를 도모하였다.

실험 결과

연구 질문

• RQ1 EffิcientNet-b5와 같은 다양한 백본 아키텍처가 실세계 위조 데이터에서 탐지 성능에 미치는 영향은 어떠한가?
• RQ2 어텐션 메커니즘을 통한 시간적 모델링이 영상 수준의 위조 신호 탐지 정확도에 얼마나 기여하는가?
• RQ3 다양한 데이터 증강 기법이 실세계 분포 이탈을 시뮬레이션하고 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ4 액션 인식 데이터셋에서 사전 학습된 3D CNN이 위조된 얼굴 영상에서의 미세한 아티팩트를 효과적으로 탐지할 수 있는가?
• RQ5 학습 데이터에 존재하지 않는 새로운 위조 기법과 왜곡에 대해 모델의 일반화 능력은 얼마나 뛰어난가?

주요 결과

• 수상한 솔루션은 은닉 테스트 세트에서 최신 기술 수준의 성능을 달성하였으며, 새로운 위조 기법과 왜곡에 대한 강력한 일반화 능력을 보였다.
• EfficientNet-b5와 시간적 어텐션 모듈을 통합한 이중 단계 모델은 단독 이미지 또는 영상 모델보다 뛰어난 성능을 보였으며, 공간-시간 동시 학습의 중요성을 입증하였다.
• 3위 솔루션은 Kinetics에서 사전 학습된 3D CNN(I3D, 3D ResNet, R(2+1)D)와 외부 데이터셋 통합을 통해 다양한 테스트 샘플에서 강력한 강건성을 보였다.
• 무작위 컷팅, 플립, 색상 왜곡 등의 데이터 증강 전략이 은닉 테스트 세트에서의 모델 일반화 및 성능 향상에 크게 기여하였다.
• DFDC 및 FaceForensics++와 같은 외부 데이터셋 통합은 특히 다양한 얼굴 교체 파이프라인에서 발생하는 아티팩트 탐지 능력을 향상시켜 모델의 강건성을 강화하였다.
• 높은 성능에도 불구하고, 모델는 여전히 새로운 위조 기법에 대한 일반화에 어려움을 겪고 있어 현재 탐지 기술의 핵심적 격차가 존재함을 시사한다.