[논문 리뷰] Analyzing Fairness in Deepfake Detection With Massively Annotated Databases

Ying Xu, Philipp Terhörst외 2명|arXiv (Cornell University)|2022. 08. 11.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 다섯 개인 주요 딥페이크 데이터셋에 대해 47개의 속성에 걸쳐 6500만 개 이상의 레이블을 포함하는 대규모 애너테이션 데이터셋을 구축함으로써 딥페이크 탐지에서의 공정성과 편향을 분석한다. 연구 결과, 최신 기술 기반의 탐지 모델이 민감도 및 비민감도 속성에 대해 심각한 편향을 보이며, 실세계 적용에서의 공정성과 일반화 능력을 약화시킴을 확인하였다.

ABSTRACT

In recent years, image and video manipulations with Deepfake have become a severe concern for security and society. Many detection models and datasets have been proposed to detect Deepfake data reliably. However, there is an increased concern that these models and training databases might be biased and, thus, cause Deepfake detectors to fail. In this work, we investigate factors causing biased detection in public Deepfake datasets by (a) creating large-scale demographic and non-demographic attribute annotations with 47 different attributes for five popular Deepfake datasets and (b) comprehensively analysing attributes resulting in AI-bias of three state-of-the-art Deepfake detection backbone models on these datasets. The analysis shows how various attributes influence a large variety of distinctive attributes (from over 65M labels) on the detection performance which includes demographic (age, gender, ethnicity) and non-demographic (hair, skin, accessories, etc.) attributes. The results examined datasets show limited diversity and, more importantly, show that the utilised Deepfake detection backbone models are strongly affected by investigated attributes making them not fair across attributes. The Deepfake detection backbone methods trained on such imbalanced/biased datasets result in incorrect detection results leading to generalisability, fairness, and security issues. Our findings and annotated datasets will guide future research to evaluate and mitigate bias in Deepfake detection techniques. The annotated datasets and the corresponding code are publicly available.

연구 동기 및 목표

• 불균형한 훈련 데이터셋으로 인해 발생하는 딥페이크 탐지 모델의 공정성과 편향을 조사하기 위해.
• 특히 비민감도 속성에 대해 포괄적인 애너테이션 정보가 부족한 기존 딥페이크 데이터셋의 한계를 보완하기 위해.
• 다양한 민감도 및 비민감도 속성에 대해 최신 기술 기반의 딥페이크 탐지 백본 모델의 성능을 평가하기 위해.
• 미래의 딥페이크 탐지에서의 편향 평가 및 완화를 지원하기 위해 공개 가능한 대규모 및 다양한 애너테이션 데이터베이스를 제공하기 위해.
• 특정 집단을 과도하게 가짜로 분류하는 편향된 탐지 시스템이 초래하는 사회적 및 보안적 위험을 부각하기 위해.

제안 방법

• MAAD-Face 원칙을 활용해 다섯 개의 주요 딥페이크 데이터셋(Celeb-DF, DFD, FF++, DF-1.0, DFDC)을 47개의 고유한 속성에 대해 애너테이션 처리하여 고신뢰도 레이블링을 수행하였다.
• 나이, 성별, 민족, 머리카락 색상/스타일, 피부, 얼굴 기하학, 액세서리, 표정 등 다양한 속성에 걸쳐 6530만 개 이상의 레이블을 수집하였다.
• 애너테이션된 데이터셋을 기반으로 세 가지 최신 기술 기반의 딥페이크 탐지 백본 모델(EfficientNet, Vision Transformers 등)을 훈련 및 평가하였다.
• 상대적 성능(rel. perf.) 지표를 사용해 각 속성별 탐지 성능을 측정하고 편향 경향을 식별하였다.
• MAAD 분류기의 신뢰도 점수를 활용해 레이블링 과정에서 고품질 레이블을 필터링하고 보장하였다.
• 예: 수염, 콧수염, 큰 코 등의 속성 카테고리와 블론드 헤어, 미소 등의 하위 카테고리 간 탐지 정확도를 비교하여 편향을 정량화하였다.

실험 결과

연구 질문

• RQ1 딥페이크 탐지 모델이 특정 민감도 및 비민감도 속성에 대해 어느 정도 편향을 보이는가?
• RQ2 공개된 딥페이크 데이터셋의 불균형성이 탐지 모델의 공정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 어느 특정 속성(예: 머리카락 색상, 얼굴 기하학, 액세서리)에서 탐지 성능 저하가 가장 심각한가?
• RQ4 상대적 성능 지표가 다양한 속성 하위 카테고리 간에 어떻게 변동하는가? 이는 잠재적인 공정성 문제를 시사하는가?
• RQ5 대규모이고 다양한 속성 애너테이션은 딥페이크 탐지 시스템의 편향 식별 및 완화에 기여할 수 있는가?

주요 결과

• 조사된 딥페이크 데이터셋은 특정 집단의 부족한 표현을 보이며 민감도 및 속성 다양성이 떨어진다.
• 딥페이크 탐지 모델은 머리카락 색상(예: 한 모델에서 블론드 헤어에 대해 상대적 성능 100% 증가), 얼굴 기하학(예: 타원형 얼굴에 대해 상대적 성능 45.74% 향상), 액세서리(예: 립스틱 착용에 대해 상대적 성능 -239.21% 감소) 등의 속성에 대해 강한 편향을 보인다.
• 일부 속성에 대해 모델의 성능 저하가 극심하다: 예를 들어, 이중턱에 대해 한 모델에서 상대적 성능 -448.88% 감소로 심각한 오분류를 나타낸다.
• 편향된 데이터로 훈련된 모델은 큰 코에 대해 뾰루퉁한 코보다 상대적 성능이 최대 47.03% 높게 나타나 특정 얼굴 특징에 대한 강한 편향을 보인다.
• 화려한 메이크업 및 매력도 등의 속성에 대해서는 부족한 오류율로 인해 신뢰할 수 있는 성능 데이터 확보가 어려웠으며, 이는 잠재적인 데이터 희소성 또는 모델 실패를 시사한다.
• 이 연구는 불균형한 데이터셋으로 훈련된 탐지 모델이 체계적으로 불공정한 결과를 산출하며, 일부 집단이 과도하게 가짜로 분류되는 경향이 있음을 드러내었으며, 이는 심각한 공정성 및 보안적 우려를 제기한다.