[논문 리뷰] Stereotype-Free Classification of Fictitious Faces

Mohammadhossein Toutiaee, Soheyla Amirian외 2명|arXiv (Cornell University)|2020. 04. 29.

Face recognition and analysis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 인위적이고 GAN으로 생성된 얼굴을 성별이나 인종에 대한 스테레오타입 없이 분류하기 위해 페널라이제이션 회귀 접근법—특히 릿지 로지스틱 회귀—을 제안한다. 잠재 공간에서 실제 얼굴과의 거리를 최소화함으로써, 이 방법은 스테레오타입 없는 레이블링을 달성하며, 공정성 측면에서 인간의 인식과 딥러닝 기반 모델을 뛰어넘는 성과를 보이며, p-값을 통해 소수자에 대한 유의미한 편향이 없음을 나타낸다.

ABSTRACT

Equal Opportunity and Fairness are receiving increasing attention in artificial intelligence. Stereotyping is another source of discrimination, which yet has been unstudied in literature. GAN-made faces would be exposed to such discrimination, if they are classified by human perception. It is possible to eliminate the human impact on fictitious faces classification task by the use of statistical approaches. We present a novel approach through penalized regression to label stereotype-free GAN-generated synthetic unlabeled images. The proposed approach aids labeling new data (fictitious output images) by minimizing a penalized version of the least squares cost function between realistic pictures and target pictures.

연구 동기 및 목표

• GAN으로 생성된 합성 얼굴에 대한 인간의 인식에서 인종과 성별에 기반한 스테레오타입 기반 차별을 해결하기 위해.
• 주관적인 인간 판단에 의존하지 않고 신뢰할 수 있는 자동화된 방법을 개발하기 위해.
• 아프리카계 미국인 및 여성과 같은 부족한 대표성을 가진 군집에 대한 편향을 최소화함으로써 분류의 공정성을 확보하기 위해.
• 실제 신원이 존재하지 않는 합성 데이터에 적용 가능한 진위 기반 레이블링 프레임워크를 제공하기 위해.
• p-값과 EMD 지표를 사용하여 인간의 인식, 딥러닝 모델, 그리고 제안된 통계적 방법의 공정성을 평가하고 비교하기 위해.

제안 방법

• 이 방법은 합성 이미지와 실제 얼굴 임베딩 간의 페널라이제이션 최소 제곱 비용 함수를 최소화하는 방식으로, 잠재 공간에서 실제 얼굴과의 유사도를 기반으로 감정적 속성(인종, 성별)을 예측하는 데 페널라이제이션 회귀(특히 릿지 로지스틱 회귀)를 사용한다.
• 분류 작업은 합성 이미지와 실제 얼굴 임베딩 간의 페널라이제이션 최소 제곱 비용 함수를 최소화하는 방식으로 설정된다.
• 지구 이동 거리(EMD)는 학습 세트 내의 실제 얼굴과의 거리를 측정하기 위한 유사도 지표로 사용된다.
• 이 모델은 이미지 특징과 보호된 속성 간의 관계를 반영하는 가중치를 추정하며, 기준 클래스(예: 인종 분류에서 음수 계수는 아프리카계 미국인을 나타낸다)에 기반한 부호 해석이 이루어진다.
• 이 방법은 생성 후 적용되며, 합성 이미지에 대한 진위 레이블이 필요로 하지 않으며, 다중 속성에 대해 해석 가능하고 확장 가능한 설계가 되어 있다.
• 공정성은 이원 검정에서의 양측 p-값을 통해 평가되며, 그룹 간 선호도가 동일한가에 대한 귀무가설이 기각되는지 여부를 검증한다.

실험 결과

연구 질문

• RQ1 통계적 방법이 인간의 인식에 비해 GAN으로 생성된 얼굴을 분류할 때 스테레오타입 기반 편향을 줄일 수 있는가?
• RQ2 릿지 로지스틱 회귀가 인종과 성별 할당 측면에서 딥러닝 기반 모델에 비해 합성 얼굴의 더 공정한 레이블링을 제공하는가?
• RQ3 인간의 인식은 허구의 얼굴을 평가할 때 더 밝은 피부색이나 남성 얼굴에 체계적인 선호를 보이는가?
• RQ4 실제 얼굴 임베딩으로 학습된 모델이 진위 레이블 없이도 합성 얼굴을 신뢰성 있게 레이블링할 수 있으며, 공정성을 유지할 수 있는가?
• RQ5 합성 데이터에 진위 레이블이 없을 경우, 제안된 방법이 편향에 대해 강건한가?

주요 결과

• 인간의 인식은 인종 분류에서 백인 집단을 유의미하게 선호한다(p < 0.05), 이는 강력한 스테레오타입 편향을 시사한다.
• 릿지 로지스틱 회귀 모델은 인종이나 성별에 대한 유의미한 선호 없이 스테레오타입 없는 레이블링을 달성하였으며, 비유의미한 p-값으로 확인되었다.
• 이 방법은 인간의 인식과 딥러닝 기반 모델을 모두 뛰어넘는 공정성을 보였으며, 아프리카계 미국인이나 여성 신원에 대한 편향의 증거가 없었다.
• 지구 이동 거리(EMD)를 유사도 지표로 사용함으로써, 모델이 미세한 얼굴 속성 차이를 더 잘 포착할 수 있게 되었다.
• 릿지 로지스틱 회귀는 높은 분류 정확도를 유지하면서도 공정성을 확보하였으며, 정규화가 성능과 공정성 모두를 지원함을 보여주었다.
• 결과는 인간의 인식이 본질적으로 스테레오타입을 내재하고 있어 합성 얼굴 레이블링에 신뢰할 수 없으며, 통계적 방법이 더 객관적인 대안이 될 수 있음을 확인한다.