[논문 리뷰] Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets

Brandon M. Smith, Miguel Farinha외 4명|arXiv (Cornell University)|2023. 05. 24.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 COCO에서 생성된 성별 균형 잡힌 대조 세트를 통해 시각-언어 데이터셋의 편향을 제거하기 위한 합성 데이터 파이프라인을 제안한다. 여기서 배경 맥락은 유지하면서 오직 주체의 성별만 편집된다. 이미지 품질을 확보하기 위해 KNN 기반 필터링 방법을 사용하여, 저자들은 실제 데이터셋에서의 허위 상관관계로 인해 편향 측정 지표인 Bias@K가 왜곡됨을 보여주며, 균형 잡힌 합성 데이터가 CLIP 기반 모델에서 더 신뢰할 수 있는 편향 평가를 가능하게 함을 입증한다.

ABSTRACT

Vision-language models are growing in popularity and public visibility to generate, edit, and caption images at scale; but their outputs can perpetuate and amplify societal biases learned during pre-training on uncurated image-text pairs from the internet. Although debiasing methods have been proposed, we argue that these measurements of model bias lack validity due to dataset bias. We demonstrate there are spurious correlations in COCO Captions, the most commonly used dataset for evaluating bias, between background context and the gender of people in-situ. This is problematic because commonly-used bias metrics (such as Bias@K) rely on per-gender base rates. To address this issue, we propose a novel dataset debiasing pipeline to augment the COCO dataset with synthetic, gender-balanced contrast sets, where only the gender of the subject is edited and the background is fixed. However, existing image editing methods have limitations and sometimes produce low-quality images; so, we introduce a method to automatically filter the generated images based on their similarity to real images. Using our balanced synthetic contrast sets, we benchmark bias in multiple CLIP-based models, demonstrating how metrics are skewed by imbalance in the original COCO images. Our results indicate that the proposed approach improves the validity of the evaluation, ultimately contributing to more realistic understanding of bias in vision-language models.

연구 동기 및 목표

• 시각-언어 모델의 편향 평가를 왜곡시키는 COCO 데이터셋 내 성별과 배경 맥락 간의 허위 상관관계를 특정하고 이를 해결하기.
• 실제 이미지에서 고품질의 성별 균형 잡힌 합성 대조 세트를 생성하는 가용성 있고 자동화된 파이프라인 개발하여, 장면 맥락은 유지하면서 오직 주체의 성별만 편집하기.
• 모델 편향 평가에 혼란을 주는 데이터셋 수준의 불균형을 제거함으로써 Bias@K와 같은 편향 측정 지표의 타당성을 향상시키기.
• CLIP 기반 모델에서 관측된 모델 편향이 종종 본질적인 모델 편향이 아니라 데이터셋 아티팩트에 기인함을 입증하기.
• 합성 데이터 생성의 윤리적 함의, 특히 편향의 누적과 성별 정체성의 단순화 가능성을 논의하기 시작하기.

제안 방법

• 제안된 방법은 제어 가능한 이미지 편집 모델을 사용하여 COCO에서 합성 이미지 쌍을 생성하며, 각 이미지는 동일한 장면을 다른 성별의 주체로 묘사하도록 편집된다.
• 배경과 장면 맥락은 그대로 유지되며 오직 사람의 바운딩 박스만 수정되어 성별이 유일한 변수로 고립된다.
• 합성 이미지를 특징 공간에서 실제 이미지와 비교하여 품질이 낮거나 현실적이지 않은 편집을 거르기 위해 KNN 기반 필터링 파이프라인을 사용한다.
• 필터링된 합성 데이터셋인 GenSynth는 여러 CLIP 기반 모델에서 편향 측정 지표를 재평가하는 데 사용된다.
• 고정된 맥락에서 성별이 균형 있게 표현되도록 보장함으로써 성별 편향의 통제된 평가가 가능해진다.
• 수동 코딩을 피하고 시각-언어 데이터셋의 대규모 편향 제거를 가능하게 하는 파이프라인이다.

Figure 1 : t-SNE clusters ( $M=20$ ) of gender-neutralised caption embeddings. Each cluster is manually assigned a name, then coloured and labelled according to its male over-representation factor. The male over-representation factor is the difference between the percentage of male images in the par

실험 결과

연구 질문

• RQ1 COCO에서 성별과 장면 맥락 간의 허위 상관관계가 Bias@K와 같은 표준 편향 측정 지표에 얼마나 심각하게 영향을 미치는가?
• RQ2 고정 배경에서 성별 표현이 균형 잡힌 합성 대조 세트가 시각-언어 모델의 편향 평가 타당성을 얼마나 향상시킬 수 있는가?
• RQ3 원본의 불균형한 COCO 데이터셋 대비 균형 잡힌 합성 데이터셋에서 편향 측정 지표는 어떻게 변화하는가?
• RQ4 CLIP 기반 모델에서 관측된 편향이 본질적인 모델 연관성 때문이 아니라 데이터셋 편향 때문인가?
• RQ5 특히 분포 이탈과 편향 전파 문제를 고려할 때, 편향 제거를 위해 합성 데이터를 사용하는 데 따른 위험과 제한 사항은 무엇인가?

주요 결과

• COCO 데이터셋은 성별과 배경 맥락 간에 강력한 허위 상관관계를 보이며, 이는 Bias@K와 같은 표준 편향 측정 지표를 무효화시킨다.
• 제안된 GenSynth 합성 대조 세트는 성별-맥락 편향을 성공적으로 제거하여 모델 공정성 평가의 신뢰도를 높인다.
• 원본 COCO 데이터셋에서 Bias@K 값은 장면 맥락 내 성별 표현의 불균형으로 인해 심각하게 왜곡되어 있다.
• 균형 잡힌 GenSynth 데이터셋에서 평가했을 때, CLIP 기반 모델은 성별 간 유사한 편향 점수를 보이며, 관측된 격차가 주로 데이터셋 아티팩트에 기인했음을 시사한다.
• 실제 이미지와의 KNN 유사도 기반 필터링 파이프라인은 합성 이미지의 품질을 효과적으로 유지하고 합성 데이터의 분포 이탈을 줄인다.
• 한계가 있음에도 불구하고, 본 연구는 합성 대조 세트가 편향 제거 평가를 위한 유효하고 확장 가능한 대안이 될 수 있음을 보여준다.

Figure 2 : An overview of our pipeline for dataset debiasing across a target attribute, in this case gender, ensuring equal demographic representation. A source image containing a person is given as input to InstructPix2Pix along with instructions to synthesise each attribute label. The resulting ed