[논문 리뷰] An Examination of Fairness of AI Models for Deepfake Detection

Loc Trinh, Yan Liu|arXiv (Cornell University)|2021. 05. 02.

Face recognition and analysis참고 문헌 26인용 수 6

한 줄 요약

이 연구는 인종과 성별에 따른 편향을 분석함으로써 딥페이크 탐지 AI 모델의 공정성에 대해 조사한다. FaceForensics++와 같은 널리 사용되는 데이터셋이 백인 여성 중심으로 심하게 편향되어 있으며, 딥페이크 생성 방법이 '비정상적인' 스왑을 만들어내어 탐지기가 특정 인종적 특징과 위조성의 연관성을 학습하게 하여, 일부 인종 하위군에서 최대 10.7% 높은 오류율을 초래한다. 특히 아시아 여성에서 두드러진다.

ABSTRACT

Recent studies have demonstrated that deep learning models can discriminate based on protected classes like race and gender. In this work, we evaluate bias present in deepfake datasets and detection models across protected subgroups. Using facial datasets balanced by race and gender, we examine three popular deepfake detectors and find large disparities in predictive performances across races, with up to 10.7% difference in error rate between subgroups. A closer look reveals that the widely used FaceForensics++ dataset is overwhelmingly composed of Caucasian subjects, with the majority being female Caucasians. Our investigation of the racial distribution of deepfakes reveals that the methods used to create deepfakes as positive training signals tend to produce "irregular" faces - when a person's face is swapped onto another person of a different race or gender. This causes detectors to learn spurious correlations between the foreground faces and fakeness. Moreover, when detectors are trained with the Blended Image (BI) dataset from Face X-Rays, we find that those detectors develop systematic discrimination towards certain racial subgroups, primarily female Asians.

연구 동기 및 목표

• 인종과 성별과 같은 보호적 속성에 대해 딥페이크 탐지 모델의 공정성 조사
• FaceForensics++와 Blended Images와 같은 널리 사용되는 딥페이크 데이터셋의 표현 편향 분석
• 데이터 생성 방법이 얼굴 특징과 위조성 간의 유사 상관관계를 어떻게 생성하는지 조사
• 교차 인종 및 성별 하위군 간 딥페이크 탐지기의 예측 성능 격차 평가
• 합성 미디어를 위한 AI 시스템에서 더 표준화된 데이터와 교차적 감사 도입을 주장

제안 방법

• 1,000개 이상의 FaceForensics++ 및 Blended Images의 실제 영상에 대해 애너테이터가 성별과 인종을 레이블링하여 상호 신뢰도 75.93% 확보
• 학습 데이터의 편향을 평가하기 위해 얼굴 스왑을 '정상'(동일 인종/성별) 또는 '비정상'(다른 인종/성별)으로 분류
• 성별과 인종 간 균형 잡힌 얼굴 데이터셋을 구축하여 탐지기의 공정성 평가
• 이 균형 잡힌 데이터셋을 바탕으로 세 가지 인기 있는 딥페이크 탐지기를 테스트하여 성능 격차 측정
• FF++ 및 BI 데이터셋의 가짜 샘플에서 전경 및 배경 얼굴의 분포를 분석하여 편향된 학습 신호 식별
• 통계적 분석을 통해 교차 하위군 간 오류율 비교하여 임의의 격차가 있는 억수적 오류율 확인

실험 결과

연구 질문

• RQ1 FaceForensics++ 데이터셋은 실제 딥페이크 탐지 시나리오에서 다양한 인종 및 성별 집단을 얼마나 잘 반영하고 있는가?
• RQ2 딥페이크의 데이터 생성 방법이 얼굴 특징과 위조성 간의 유사 상관관계를 어떻게 유도하는가?
• RQ3 교차 인종 및 성별 하위군 간 딥페이크 탐지기에서 성능 격차는 어떤가?
• RQ4 Blended Images 데이터셋으로 학습할 경우, 특히 아시아 여성에게 대해 공정성에 어떤 영향을 미치는가?
• RQ5 학습 데이터에서 '비정상적' 얼굴 스왑(다른 인종 또는 성별)이 탐지기의 편향된 행동을 유도하는 정도는 어느 정도인가?

주요 결과

• FaceForensics++ 데이터셋은 심하게 불균형하며, 실제 영상의 61.7%가 백인을 포함하고 있고, 36.6%는 여성 백인을 포함한다.
• FaceForensics++의 가짜 영상 중 59.44%는 '비정상적 스왑'으로, 한 사람의 얼굴이 다른 인종이나 성별의 사람에게 스왑된 경우이다.
• Blended Images 데이터셋은 '비정상적 스왑'이 65.45%를 차지하며, 여성 아시아 얼굴의 35.3%가 여성 백인 얼굴에 스왑된 경우이다.
• 이러한 데이터셋으로 학습된 딥페이크 탐지기는 일부 인종 하위군, 특히 여성 아시아인에서 최대 10.7% 높은 오류율을 보인다.
• Blended Images로 학습된 탐지기는 여성 아시아인에 대해 체계적인 차별을 보이며, 이는 비정상적 스왑에 노출된 탓일 가능성이 높다.
• 이 연구는 '비정상적' 얼굴 스왑이 얼굴 특징과 위조성 간의 유사 상관관계를 생성하여 탐지 모델의 공정성을 해친다는 점을 규명했다.