[논문 리뷰] Detecting Bias with Generative Counterfactual Face Attribute Augmentation

Emily Denton, Ben Hutchinson외 2명|arXiv (Cornell University)|2019. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 62

한 줄 요약

이 논문은 GAN을 사용하여 얼굴 특징을 제어적으로 변경하는 것을 시뮬레이션함으로써 미소 속성 분류기의 편향을 탐지하기 위한 생성형 반사적 프레임워크를 제안한다. 실제적인 얼굴 이미지를 특성 조작으로 생성하고 예측 변화를 측정함으로써, 피부 톤과 연령과 같은 다수의 변동 요인들이 분류기 결정에 비례적으로 영향을 미치는 것을 밝혀내어 숨겨진 편향을 드러낸다.

ABSTRACT

We introduce a simple framework for identifying biases of a smiling attribute classifier. Our method poses counterfactual questions of the form: how would the prediction change if this face characteristic had been different? We leverage recent advances in generative adversarial networks to build a realistic generative model of face images that affords controlled manipulation of specific image characteristics. We introduce a set of metrics that measure the effect of manipulating a specific property of an image on the output of a trained classifier. Empirically, we identify several different factors of variation that affect the predictions of a smiling classifier trained on CelebA.

연구 동기 및 목표

• CelebA 데이터셋에서의 미소 속성 분류기 편향을 식별하기 위한 방법을 개발하는 것.
• 피부 톤, 연령, 성별과 같은 특정 얼굴 특징의 변화가 분류기 예측에 어떤 영향을 미치는지 조사하는 것.
• 분류기의 출력이 관련이 없거나 부작위적인 특징(예: 성별)에 민감한지 평가하는 것.
• 반사적 이미지 조작을 통해 분류기 행동을 체계적으로 탐색할 수 있는 생성 모델 기반 프레임워크를 도입하는 것.

제안 방법

• 특정 얼굴 특징에 대한 제어적 수정을 가진 실제적인 얼굴 이미지를 합성하기 위해 훈련된 GAN 기반 생성 모델을 활용한다.
• 피부 톤, 연령 또는 눈 모양과 같은 특징를 변경하기 위해 특성별 노이즈 벡터 또는 잠재 공간 조작을 적용한다.
• CelebA에서 미소 속성 분류기를 훈련하고, 생성된 반사적 이미지에 대해 예측을 수행한다.
• 원본 및 수정된 이미지 예측를 비교하여 예측 변화를 계산함으로써 특징 변화에 대한 민감도를 정량화한다.
• 예측 변화 크기와 특징 변화에 따른 일관성과 같은 메트릭을 도입하여 편향을 평가한다.
• 다른 특징는 유지하면서 오직 하나의 특징만 변경하는 제어된 실험 설정을 사용한다.

실험 결과

연구 질문

• RQ1 피부 톤이나 연령과 같은 얼굴 특징을 변경할 경우, 미소 속성 분류기의 예측에 어떤 영향을 미치는가?
• RQ2 어느 특정 얼굴 특징이 분류기 출력의 가장 큰 변화를 유도하는가? 이는 잠재적 편향을 시사한다.
• RQ3 성별이나 얼굴 구조와 같은 미소와 관련 없는 특징이 분류기 예측에 얼마나 영향을 미치는가?
• RQ4 반사적 이미지 생성이 얼굴 속성 분류 모델의 숨겨진 편향을 효과적으로 드러낼 수 있는가?

주요 결과

• 피부 톤과 연령과 같은 얼굴 특징을 변경할 경우, 분류기가 비관련 요소에 민감하게 반응하여 예측 변화가 크게 발생함을 확인하였다.
• 피부 톤 변화는 얼굴 구조나 성별 변화보다 일관되게 더 큰 예측 변화를 유도하여 어두운 피부 톤에 대한 편향이 있음을 시사한다.
• 연령 조작 시 분류기의 출력이 더 높은 분산을 보이며 예측이 더 불안정함을 확인하였다.
• 제안된 메트릭은 분류기 결정에 비례적으로 영향을 미치는 특징을 식별함으로써 편향을 성공적으로 정량화하였다.