[논문 리뷰] Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities

Melissa Hall, Laura Gustafson외 3명|arXiv (Cornell University)|2023. 01. 26.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 이미지 분류, 객체 검출, 세분화 작업을 포함한 다양한 시각-언어 모델에서 성별에 기반한 성능 격차를 조사한다. CLIP, Detic, LSeg와 같은 제로샷 시각-언어 모델에서 사람의 얼굴이 인식되는 성별에 따라 모델의 정확도와 校정도가 크게 달라지는 것으로 나타났으며, 이는 사전 훈련된 단어 임베딩의 편향과 유사한 경향을 보이며, 개방형 어휘 시각 시스템에서 편향이 확산되는 위험을 드러낸다.

ABSTRACT

We explore the extent to which zero-shot vision-language models exhibit gender bias for different vision tasks. Vision models traditionally required task-specific labels for representing concepts, as well as finetuning; zero-shot models like CLIP instead perform tasks with an open-vocabulary, meaning they do not need a fixed set of labels, by using text embeddings to represent concepts. With these capabilities in mind, we ask: Do vision-language models exhibit gender bias when performing zero-shot image classification, object detection and semantic segmentation? We evaluate different vision-language models with multiple datasets across a set of concepts and find (i) all models evaluated show distinct performance differences based on the perceived gender of the person co-occurring with a given concept in the image and that aggregating analyses over all concepts can mask these concerns; (ii) model calibration (i.e. the relationship between accuracy and confidence) also differs distinctly by perceived gender, even when evaluating on similar representations of concepts; and (iii) these observed disparities align with existing gender biases in word embeddings from language models. These findings suggest that, while language greatly expands the capability of vision tasks, it can also contribute to social biases in zero-shot vision settings. Furthermore, biases can further propagate when foundational models like CLIP are used by other models to enable zero-shot capabilities.

연구 동기 및 목표

• 제로샷 시각-언어 모델이 다양한 시각 작업에서 성별에 따라 성능 격차를 보이는지 조사하기 위해.
• 이미지에 함께 등장하는 사람의 인식된 성별에 따라 모델의 校정도(예측확률과 실제 정확도의 일치도)가 어떻게 달라지는지 분석하기 위해.
• 관측된 시각 모델의 격차가 사전 훈련된 단어 임베딩에 존재하는 기존의 성별 편향과 얼마나 일치하는지 확인하기 위해.
• 기초 모델인 CLIP과 같은 모델을 사용해 제로샷 기능을 구현할 경우 편향이 확산될 위험이 있는지 평가하기 위해.
• 모든 개념에 대한 성능을 종합적으로 평가할 경우 심각한 성별 기반 격차가 가려질 수 있음을 입증하고, 개별 개념별 평가의 필요성을 강조하기 위해.

제안 방법

• Visual Genome 등의 다양한 데이터셋을 대상으로 CLIP(ViT-B/32), Detic(객체 검출용), LSeg(세분화용)의 세 가지 제로샷 모델을 평가하였다.
• 태스크 특화 미세튜닝 없이 언어 모델의 텍스트 임베딩을 분류기로 사용하여 제로샷 이미지 분류, 검출, 세분화를 수행하였다.
• 이미지에 등장하는 사람의 성별을 이진화된 애너테이션을 기반으로 정의하였으며, 자가 신고가 아닌 시각적 인식 기반으로 정의하였다.
• 정확도-신뢰도 일치도를 평가하기 위해 평균 정밀도(AP)와 기대 校정오차(ECE)를 사용하여 인식된 성별 그룹 간 성능 격차를 측정하였다.
• 각 개념별 격차를 매핑하여, 예를 들어 머리카락, 넥타이 등 물체의 눈에 띄는 정도의 차이와 성별 그룹 간 개념 공존 패턴의 차이 등 근본 원인을 규명하였다.
• 비맥락적 단어 임베딩(예: word2vec에서 유래)의 편향과 시각 모델의 편향을 비교하여 일치도 및 전파 정도를 평가하였다.

실험 결과

연구 질문

• RQ1 제로샷 시각-언어 모델은 함께 등장하는 사람의 인식된 성별에 따라 성능 격차를 보이는가?
• RQ2 동일한 시각적 개념에 대해 예측 신뢰도와 정확도의 관계가 인식된 성별 그룹 간에 어떻게 다를까?
• RQ3 사전 훈련된 단어 임베딩의 성별 편향이 제로샷 시각-언어 모델에서 관측된 편향과 어느 정도 관련이 있는가?
• RQ4 모든 개념에 대한 성능을 종합적으로 평가할 경우 개별 개념의 인식에서 나타나는 심각한 성별 기반 격차가 가려지는가?
• RQ5 특히 개념 수준의 인식과 공존 패턴에서 성별 기반 격차의 잠재적 근본 원인은 무엇인가?

주요 결과

• 평가된 모든 모델(CLIP, Detic, LSeg)은 특정 시각적 개념과 함께 등장하는 사람의 인식된 성별에 따라 뚜렷한 성능 격차를 보이며, 많은 경우 남성의 이미지에서 평균 정밀도가 높았다.
• 모든 개념에 대한 격차 분석을 종합하면 심각한 성별 기반 성능 격차가 가려지므로, 개념별 평가의 필요성이 강조된다.
• 기대 校정오차(ECE)로 측정한 모델의 校정도는 인식된 성별에 따라 유의미하게 다름을 보이며, 이는 동일한 개념을 표현할 때 일부 성별 그룹에 대해 모델이 덜 확신하고 정확도도 낮게 나타남을 시사한다.
• 시각 모델의 성별 기반 격차는 비맥락적 단어 임베딩의 기존 성별 편향과 강하게 일치하며, 언어 모델의 편향이 시각 작업으로 전이됨을 시사한다.
• 근본 원인 분석 결과, 머리카락, 넥타이 등 물체의 눈에 띄는 정도의 차이와 성별 그룹 간 개념 공존 패턴의 차이가 성능 격차에 기여하는 것으로 나타났다.
• 결과적으로 언어 모델을 시각 작업의 지도로 사용할 경우 사회적 편향이 확산되거나 심지어 악화될 수 있으며, 특히 CLIP와 같은 기초 모델이 후속 시스템에서 재사용될 경우 이와 같은 위험이 증가한다.