[논문 리뷰] GBDF: Gender Balanced DeepFake Dataset Towards Fair DeepFake Detection

Aakash Varma Nadimpalli, Ajita Rattani|arXiv (Cornell University)|2022. 07. 21.

Face recognition and analysis인용 수 10

한 줄 요약

이 논문은 공정성 평가를 위해 수동으로 레이블링된 성별 정보를 포함한 균형 잡힌 성별의 딥페이크 데이터셋인 GBDF를 소개한다. 이는 현재의 데이터셋이 남성 중심으로 편향되어 있으며, 최신 기술 기반 검출기가 여성에 대해 성능이 열 劣하다는 점을 드러내며, GBDF로 훈련할 경우 등가 오류률(EER) 기준으로 성능 격차를 최대 60% 감소시킨다.

ABSTRACT

Facial forgery by deepfakes has raised severe societal concerns. Several solutions have been proposed by the vision community to effectively combat the misinformation on the internet via automated deepfake detection systems. Recent studies have demonstrated that facial analysis-based deep learning models can discriminate based on protected attributes. For the commercial adoption and massive roll-out of the deepfake detection technology, it is vital to evaluate and understand the fairness (the absence of any prejudice or favoritism) of deepfake detectors across demographic variations such as gender and race. As the performance differential of deepfake detectors between demographic subgroups would impact millions of people of the deprived sub-group. This paper aims to evaluate the fairness of the deepfake detectors across males and females. However, existing deepfake datasets are not annotated with demographic labels to facilitate fairness analysis. To this aim, we manually annotated existing popular deepfake datasets with gender labels and evaluated the performance differential of current deepfake detectors across gender. Our analysis on the gender-labeled version of the datasets suggests (a) current deepfake datasets have skewed distribution across gender, and (b) commonly adopted deepfake detectors obtain unequal performance across gender with mostly males outperforming females. Finally, we contributed a gender-balanced and annotated deepfake dataset, GBDF, to mitigate the performance differential and to promote research and development towards fairness-aware deep fake detectors. The GBDF dataset is publicly available at: https://github.com/aakash4305/GBDF

연구 동기 및 목표

• 성별 간 딥페이크 검출기의 공정성 격차, 특히 여성에 대한 성능 열 劣를 조사하기 위해.
• 기존 딥페이크 데이터셋에 인구통계학적 레이블이 부족하여 공정성 분석이 어렵다는 문제를 해결하기 위해.
• 공정성 인식 기반의 딥페이크 검출 연구를 지원하기 위해 공개 가능한 성별 균형 데이터셋(GBDF)을 구축하기 위해.
• 실제 딥페이크 생성 기술을 사용하여 데이터셋 편향이 검출기 성능에 미치는 영향을 평가하기 위해.
• 시각화와 지표를 통해 검출기가 남성과 여성에 대해 다른 얼굴 부위에 주목하는 방식이 성능 격차를 유발한다는 점을 입증하기 위해.

제안 방법

• FaceForensics++와 Celeb-DF와 같은 두 가지 인기 있는 딥페이크 데이터셋에 대해 인간 평가자들이 참가자를 남성 또는 여성으로 분류하도록 수동으로 성별 레이블을 부여하였다.
• 훈련 세트의 성별 분포를 균형 잡아 남성과 여성의 균형 잡힌 표현을 확보함으로써 GBDF를 구축하였다.
• 기존의 최신 기술 기반 딥페이크 검출기들(MesoInception-4, LipForensics, EfficientNet V2-L 등)을 원본 데이터셋과 GBDF 데이터셋 모두에서 훈련 및 평가하였다.
• 생성된 활성화 맵(Grad-CAM)을 적용하여 남성과 여성에 대해 라이브 및 가짜 샘플에 대해 검출기가 사용하는 주의 영역을 비교 분석하였다.
• 등가 오류률(EER)을 측정하여 남성 및 여성 하위군 간의 공정성 수준을 정량화하였다.
• 데이터 불균형의 영향을 분리하기 위해 불균형(원본)과 균형(GBDF) 데이터셋에서의 검출기 성능을 비교하는 분석 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 기존 딥페이크 데이터셋에서 검출기의 성능이 남성과 여성 간에 유의미하게 다를까?
• RQ2 현재 딥페이크 데이터셋의 성별 불균형이 검출 모델의 성능 격차에 어느 정도 기여하는가?
• RQ3 GBDF와 같은 성별 균형 데이터셋으로 훈련하면 남성과 여성 간의 딥페이크 검출 성능 격차를 줄일 수 있는가?
• RQ4 딥페이크 검출기가 성별 간에 다른 얼굴 부위에 의존하는가, 그리고 이는 공정성에 어떤 영향을 미치는가?
• RQ5 딥페이크 생성 기술의 선택(예: 비정상적인 교체)이 성별 기반 성능 격차에 어떤 영향을 미치는가?

주요 결과

• FaceForensics++와 Celeb-DF와 같은 기존 딥페이크 데이터셋은 여성의 비율이 실사 및 가짜 샘플 모두에서 부족하여 심각한 성별 불균형을 보였다.
• 특히 MesoInception-4와 같은 최신 기술 기반 검출기가 불균형 데이터셋에서 남성과 여성 간에 최대 0.034의 등가 오류률(EER) 격차를 보였다.
• 성별 균형이 잡힌 GBDF 데이터셋은 GBDF 테스트 세트에서 남성과 여성 간의 EER 격차를 0.031에서 0.012로 감소시켰다.
• Grad-CAM 시각화 결과, 검출기가 여성의 경우 턱주머니 부위, 남성의 경우 눈 주변 부위에 주로 주목하는 것으로 나타나 성별에 따라 다른 특징에 의존한다는 점을 확인하였다.
• 입술 움직임에 초점을 맞추고 영역을 자르는 모델인 LipForensics는 성별 간 성능 격차가 가장 작았으며, 이는 모odal 선택이 편향을 완화하는 데 기여할 수 있음을 시사한다.
• FaceForensics++에서 여성 샘플 수가 남성보다 많을 때조차도 성능 격차가 지속되었으며, 이는 불균형 외에도 모델 편향과 데이터 품질이 영향을 미칠 수 있음을 시사한다.