[논문 리뷰] Gender Slopes: Counterfactual Fairness for Computer Vision Models by Attribute Manipulation

Jungseock Joo, Kimmo Kärkkäinen|arXiv (Cornell University)|2020. 05. 21.

Ethics and Social Impacts of AI참고 문헌 31인용 수 6

한 줄 요약

이 논문은 성별과 인종 속성을 제어할 수 있는 인코더-디코더 네트워크를 사용하여 컴퓨터 비전 모델의 반사적 정의성 평가 프레임워크를 제안한다. 이는 다른 특징을 유지하면서 성별과 인종 속성을 조작함으로써, 상용 API 가 성별 및 인종 신호에 얼마나 민감한지 측정한다. 그 결과, 뚜렷한 편향이 드러났다. 예를 들어 여성스러운 얼굴일수록 간호사 점수가 높고, 검색 결과에서 인종 표현이 왜곡되어 있다.

ABSTRACT

Automated computer vision systems have been applied in many domains including security, law enforcement, and personal devices, but recent reports suggest that these systems may produce biased results, discriminating against people in certain demographic groups. Diagnosing and understanding the underlying true causes of model biases, however, are challenging tasks because modern computer vision systems rely on complex black-box models whose behaviors are hard to decode. We propose to use an encoder-decoder network developed for image attribute manipulation to synthesize facial images varying in the dimensions of gender and race while keeping other signals intact. We use these synthesized images to measure counterfactual fairness of commercial computer vision classifiers by examining the degree to which these classifiers are affected by gender and racial cues controlled in the images, e.g., feminine faces may elicit higher scores for the concept of nurse and lower scores for STEM-related concepts. We also report the skewed gender representations in an online search service on profession-related keywords, which may explain the origin of the biases encoded in the models.

연구 동기 및 목표

• 블랙박스 성격으로 인해 감지하기 어려운 상용 컴퓨터 비전 모델 내 숨겨진 편향을 진단하기 위해.
• 반사적 간섭을 통해 민감한 속성(특히 성별 및 인종)이 모델 예측에 미치는 영향을 분리하여 분석하기 위해.
• 온라인 미디어에서의 왜곡된 표현 분석을 통해 편향의 근본 원인을 탐구하기 위해.
• 편향 측정 및 완화 연구를 위해 30만 장의 합성 이미지를 포함한 공개 데이터셋을 구축하기 위해.
• 학습 데이터와 모델 아키텍처가 알려지지 않은 상용 API 의 공정성 평가 방법을 제공하기 위해.

제안 방법

• FaderNet (Lample 등, 2017) 기반의 인코더-디코더 아키텍처를 활용하여 성별 및 인종과 같은 민감한 속성을 다른 얼굴 특징에서 명시적으로 분리한다.
• 원본 이미지(n=64,500)에 속성 조작을 적용하여 성별과 인종 특성이 제어된 30만 장의 반사적 얼굴 이미지를 생성한다.
• 인코더의 분리된 표현을 통해 신원 및 비민감 속성을 유지함으로써, 대상 속성 외에는 변경되지 않도록 보장한다.
• 합성 이미지의 품질과 현실성 향상을 위해 적대적 훈련을 적용하여 모델 행동 평가의 신뢰성을 확보한다.
• 상용 API (IBM, Clarifai, Google) 를 합성 이미지에 적용하여, 조작된 속성에 따른 예측 점수 변화를 측정한다.
• 선형 회귀를 사용해 민감도를 정량화: 성별/인종 속성의 단위 변화에 따른 예측 점수 변화의 기울기로 측정하며, p-값 < 0.001을 기준으로 한다.

실험 결과

연구 질문

• RQ1 상용 컴퓨터 비전 API 는 성별 및 인종 속성의 반사적 변화에 얼마나 민감한가?
• RQ2 얼굴 속성 조작 시 전문직 관련 개념(예: 간호사, 경찰관)에 대한 예측 점수는 어떻게 변화하는가?
• RQ3 온라인 이미지 검색 결과에서 성별 및 인종 왜곡은 어느 정도이며, 이는 모델 편향에 어떤 기여를 하는가?
• RQ4 분리된 속성 조작은 민감한 속성이 모델 출력에 미치는 영향을 효과적으로 분리하는가?
• RQ5 특정 레이블이나 개념 중에서 API 예측에서 특히 강한 성별 또는 인종 편향을 보이는 것이 있는가?

주요 결과

• IBM API 는 인종을 흑인에서 백인으로 조작할 때 '여성 연설가'에 대해 -0.69 의 강한 음의 기울기를 보이며, 성별 역할 연관성에 심각한 편향이 있음을 시사한다.
• Google 의 '미모' 레이블은 인종을 흑인에서 백인으로 바꿀 때 0.06 의 양의 기울기를 보이며, 미적 분류에서 인종 편향이 있음을 시사한다.
• Google 이미지 검색에서 성별 표현 왜곡이 발견됨: '영양사' 결과의 92.1% 가 여성이고, '해충 방제 작업자' 결과의 97.1% 는 남성임.
• 인종 표현 왜곡이 관찰됨: '역사학자' 결과의 88.5% 는 백인인 반면, '농구 선수' 결과의 20.0% 에서만 백인이었으며, 이는 인종 고정관념을 반영한다.
• 인종 조작 시 IBM 의 '미국 대통령' 레이블은 기울기 -0.367 을 보이며, 높은 지위 역할과 백인성의 연관성에 강력한 편향이 있음을 보여준다.
• 연구는 30만 장의 제어된 속성을 가진 합성 이미지가 모델 내부가 알려지지 않은 상용 API 의 숨겨진 편향을 효과적으로 드러낼 수 있음을 규명했다.