[논문 리뷰] Survey of Social Bias in Vision-Language Models

Nayeon Lee, Yejin Bang외 4명|arXiv (Cornell University)|2023. 09. 24.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 종합적 서베이는 다중모odal 비전-언어 모델(VLMs)에서의 사회적 편향에 대해 통합 분석을 제공하며, 단모달(NLP, CV) 및 다중모달(VL) 환경에서의 편향 메커니즘, 평가 지표, 완화 전략을 비교한다. 아키텍처 설계, 프롬프트 템플릿, 다중 속성 편향이 핵심 과제임을 밝히며, 성능 저하 없이 공정성을 향상시키기 위해 경량 후처리 및 통합된 편향 측정 프레임워크를 제안한다.

ABSTRACT

In recent years, the rapid advancement of machine learning (ML) models, particularly transformer-based pre-trained models, has revolutionized Natural Language Processing (NLP) and Computer Vision (CV) fields. However, researchers have discovered that these models can inadvertently capture and reinforce social biases present in their training datasets, leading to potential social harms, such as uneven resource allocation and unfair representation of specific social groups. Addressing these biases and ensuring fairness in artificial intelligence (AI) systems has become a critical concern in the ML community. The recent introduction of pre-trained vision-and-language (VL) models in the emerging multimodal field demands attention to the potential social biases present in these models as well. Although VL models are susceptible to social bias, there is a limited understanding compared to the extensive discussions on bias in NLP and CV. This survey aims to provide researchers with a high-level insight into the similarities and differences of social bias studies in pre-trained models across NLP, CV, and VL. By examining these perspectives, the survey aims to offer valuable guidelines on how to approach and mitigate social bias in both unimodal and multimodal settings. The findings and recommendations presented here can benefit the ML community, fostering the development of fairer and non-biased AI models in various applications and research endeavors.

연구 동기 및 목표

• NLP, CV, 비전-언어(VL) 모델 간 사회적 편향의 유사점과 차이점을 분석하기 위해.
• 다중모달 비전-언어 사전학습 모델(VLP)에서 편향 평가 및 완화의 핵심 과제를 특정하기 위해.
• 단모달 및 다중모달 AI 시스템에서 편향 평가 및 완화를 위한 실질적인 지침을 제공하기 위해.
• 특히 다중 속성 편향과 프롬프트 템플릿 민감성에 관해 현재 연구의 격차를 메우기 위해.
• 윤리적 AI 원칙에 부합하는 공정하고 차별 없는 AI 시스템 개발을 지원하기 위해.

제안 방법

• 통합 공정성 프레임워크를 사용해 NLP, CV, VL 모델 전반에 걸친 편향 지표 및 완화 기법을系통적으로 분류한다.
• 융합 인코더, 듀얼 스트림, 인코더-디코더의 세 가지 주요 VLP 아키텍처를 검토하며, 편향 전파에 미치는 영향을 분석한다.
• 내재적 및 외재적 편향 평가 방법을 제안하며, 이는 교차모달 연관 측정 및 프롬프트 기반 탐지 포함.
• 학습된 편향 방향을 따라 텍스트 임베딩을 투영함으로써 의미를 유지하면서도 편향을 효과적으로 감소시키는 경량 후처리 방법을 도입한다.
• 정규화 제약 조건을 적용해 투영 후에도 디버이어스드 프롬프트가 원래 의미를 유지하도록 보장한다.
• 향후 연구 방향으로 단모달 편향 측정, 프롬프트 템플릿에 대한 강건성, VLP에서의 다중 속성 완화를 제안한다.

Figure 1. Illustration of the Fitzpatrick scale (Fitzpatrick, 1975 ) from Hazirbas et al . ( 2021 ) .

실험 결과

연구 질문

• RQ1 비전-언어 모델의 사회적 편향이 NLP 및 CV 모델의 것과 비교해 기원, 표현 방식, 영향 측면에서 어떻게 다를까?
• RQ2 텍스트 및 이미지 인코더의 단모달 편향이 VLP에서의 전체 다중모달 편향에 얼마나 기여하는가?
• RQ3 프롬프트 템플릿 선택이 비전-언어 모델에서의 외재적 사회적 편향 측정에 어떻게 영향을 미치는가?
• RQ4 후처리 방법이 다운스트림 작업 성능 저하 없이 비전-언어 모델의 사회적 편향을 효과적으로 줄일 수 있는가?
• RQ5 다중 보호 속성(예: 성별, 인종)을 동시에 완화하는 데 있어 주요 과제는 무엇인가?

주요 결과

• 비전-언어 모델은 단모달 대비에서 유래한 사회적 편향을 물려받고 강화하며, 특히 텍스트 및 이미지 인코더에서 두드러지다. 듀얼 스트림 아키텍처는 별도의 단모달 편향 분석이 가능하게 한다.
• 프롬프트 템플릿 선택은 외재적 편향 측정에 중대한 영향을 미치며, 평가 시 고려해야 할 변동성을 유도한다.
• 학습된 편향 방향을 따라 텍스트 임베딩을 투영하는 후처리 방법은 의미 유지와 함께 편향 감소에 효과적이다.
• 현재 편향 완화 기법은 종종 다운스트림 작업 성능을 저하시키므로, 성능 손실 없이 편향을 줄이는 방법의 필요성이 높아진다.
• 다양한 보호 속성을 동시에 완화하는 데 대한 연구가 극히 부족하며, 특히 다중모달 환경에서 그러한 연구가 부족하다.
• CLIP의 텍스트 및 이미지 인코더와 같은 단모달 공간에서의 세밀한 편향 평가 결과, 교차모달 융합 이전부터 편향이 독립적으로 존재함을 확인하여, 단모달 편향이 전체 다중모달 편향에 기여함을 시사한다.

Figure 2. Illustration of counterfactual image synthesis from Joo and Kärkkäinen ( 2020 ) .