[논문 리뷰] Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations

Tianlu Wang, Jieyu Zhao외 3명|arXiv (Cornell University)|2018. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 31

한 줄 요약

이 논문은 시각 인식 모델의 성별 편향을 정량화하기 위해 데이터셋 누출과 모델 누출이라는 새로운 지표를 제안한다. 조절된 데이터셋이라도 딥 뉴럴 모델에서 성별 편향이 심화됨을 보여주며, 중간 표현에서 성별 관련 특징을 제거하는 적대적 탈편향 방법을 제안한다. 이 방법은 정확도를 유지하면서도 편향을 53–67% 감소시키며, F1 스코어는 1.2–2.2 포인트만 감소시킨다.

ABSTRACT

In this work, we present a framework to measure and mitigate intrinsic biases with respect to protected variables --such as gender-- in visual recognition tasks. We show that trained models significantly amplify the association of target labels with gender beyond what one would expect from biased datasets. Surprisingly, we show that even when datasets are balanced such that each label co-occurs equally with each gender, learned models amplify the association between labels and gender, as much as if data had not been balanced! To mitigate this, we adopt an adversarial approach to remove unwanted features corresponding to protected variables from intermediate representations in a deep neural network -- and provide a detailed analysis of its effectiveness. Experiments on two datasets: the COCO dataset (objects), and the imSitu dataset (actions), show reductions in gender bias amplification while maintaining most of the accuracy of the original models.

연구 동기 및 목표

• 학습 데이터에 존재하는 것보다 더 큰 성별 편향 증폭을 딥 이미지 표현에서 측정하고 정량화하는 것.
• 각 성별이 각 레이블과 균형 있게 공존하는 조절된 데이터셋이 학습된 모델에서 성별 편향을 제거하는가를 조사하는 것.
• 지표 세그멘테이션 또는 마스크 애너테이션에 의존하지 않고 중간 표현에서 성별 관련 특징을 제거하는 방법을 개발하는 것.
• 다양한 탈편향 전략에서 정확도와 편향 감소 간의 상호 교환 관계를 평가하는 것.
• 모델이 성별을 명시적으로 예측하도록 훈련되지 않았음에도 불구하고, 레이블되지 않은 유사 상관관계로 인해 편향이 증폭되는가를 보여주는 것.

제안 방법

• 지표 분류기로 성별을 지표 레이블에서 예측 가능한 정도를 측정하는 '데이터셋 누출'과, 모델 예측에서 성별을 예측 가능한 정도를 측정하는 '모델 누출'을 도입한다.
• 두 개의 스트림으로 구성된 분류기 설정을 사용: 하나는 레이블에서 성별을 추정하는 데 쓰이며(데이터셋 누출), 다른 하나는 모델 출력에서 성별을 추정하는 데 쓰이며(모델 누출), 모델 누출이 데이터셋 누출을 초과할 경우 증폭이 발생한다.
• 중간 합성곱 레이어(예: conv4, conv5)에서 성별 관련 특징을 제거하기 위해 적대적 훈련을 적용하며, 이때 성별 예측기의 성공률을 낮추면서도 작업에 특화된 특징은 유지한다.
• 성별 제거를 시각화하고 이미지 공간에 적용하기 위해 U-Net 기반 오토인코더를 사용하며, 얼굴, 옷과 같이 성별을 드러내는 특징만 선택적으로 가림과 동시에 객체 및 동작 인식 신호를 유지한다.
• 다중 목표 손실을 사용해 모델을 훈련: 주 작업에 대한 표준 크로스 엔트로피 손실과 중간 특징에서의 성별 예측 가능성 최소화를 위한 적대적 손실.
• 강력한 베이스라인과 비교: 지표 세그멘테이션을 사용한 마스킹, 흐림 처리, 노이즈 주입, 무작위 예측 재배치.

실험 결과

연구 질문

• RQ1 성별과 레이블 조합이 균형 잡힌 데이터셋이라도 성별 편향 증폭이 지속되는가?
• RQ2 지표 레이블(데이터셋 누출)에 비해 모델 예측에서 성별을 얼마나 잘 추론할 수 있는가(모델 누출), 이는 편향 증폭에 어떤 의미를 갖는가?
• RQ3 적대적 탈편향이 정확도를 훼손시키지 않고 모델 누출을 효과적으로 줄일 수 있는가?
• RQ4 특정 정보(예: 세그멘테이션 마스크)나 무작위 노이즈를 사용하는 베이스라인과 비교했을 때, 제안된 방법의 편향-정확도 트레이드오프는 어떠한가?
• RQ5 이 방법이 특정 객체나 동작 클래스의 성능에 비례하지 않게 영향을 미치는가?

주요 결과

• 성별과 레이블 조합이 완전히 균형 잡힌 데이터셋이라도 모델은 여전히 성별 편향을 증폭시키며, 모델 누출이 데이터셋 누출을 상당한 폭으로 초과한다.
• COCO 데이터셋에서 제안된 적대적 탈편향 방법은 모델 누출을 53% 감소시키고, 편향 증폭도 53% 감소시켰으며, F1 스코어는 1.21 포인트만 감소시켰다.
• imSitu 데이터셋에서 이 방법은 모델 누출을 67% 감소시키고, 편향 증폭도 67% 감소시켰으며, F1 스코어는 2.26 포인트만 감소시켰다.
• 적대적 방법은 편향 감소와 정확도 간의 최적 트레이드오프를 달성하여, 노이즈 주입, 흐림 처리, 세그멘테이션 기반 마스킹보다 뛰어난 성능을 보였다.
• 탈편향 후 성능 변화 플롯에서 F1 스코어가 y=x 선에 가까이 맞춰져 있음을 통해 특정 객체나 동사 클래스에서 성능 저하가 비례하지 않음을 확인했다.
• 정성적 결과는 이 방법이 객체 및 동작 인식 신호를 유지하면서도 성별을 드러내는 특징(예: 얼굴, 옷)만 선택적으로 가리는 반면, 전체 인물 마스킹과 달리 성능에 영향을 주지 않는다는 것을 보여준다.