[論文レビュー] Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets

Brandon M. Smith, Miguel Farinha+4 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、COCOから性別バランスの取れた対照セットを生成することで、視覚言語データセットのバイアスを軽減する合成データパイプラインを提案する。ここで、背景の文脈を保持したまま、被写体の性別のみを編集する。画像品質を保証するためのKNNベースのフィルタリング手法を用い、著者らは、実際のデータセットにおけるばらつき相関がバイアス評価指標（例：Bias@K）を歪めることを示し、バランスの取れた合成データがCLIPベースのモデルにおけるより信頼性の高いバイアス評価を可能にすることを示している。

ABSTRACT

Vision-language models are growing in popularity and public visibility to generate, edit, and caption images at scale; but their outputs can perpetuate and amplify societal biases learned during pre-training on uncurated image-text pairs from the internet. Although debiasing methods have been proposed, we argue that these measurements of model bias lack validity due to dataset bias. We demonstrate there are spurious correlations in COCO Captions, the most commonly used dataset for evaluating bias, between background context and the gender of people in-situ. This is problematic because commonly-used bias metrics (such as Bias@K) rely on per-gender base rates. To address this issue, we propose a novel dataset debiasing pipeline to augment the COCO dataset with synthetic, gender-balanced contrast sets, where only the gender of the subject is edited and the background is fixed. However, existing image editing methods have limitations and sometimes produce low-quality images; so, we introduce a method to automatically filter the generated images based on their similarity to real images. Using our balanced synthetic contrast sets, we benchmark bias in multiple CLIP-based models, demonstrating how metrics are skewed by imbalance in the original COCO images. Our results indicate that the proposed approach improves the validity of the evaluation, ultimately contributing to more realistic understanding of bias in vision-language models.

研究の動機と目的

• 視覚言語モデルのバイアス評価を歪める、COCOデータセットにおける性別と背景文脈の間の誤った相関関係を特定・是正すること。
• 実画像から高品質で性別がバランスされた合成対照セットを生成するスケーラブルで自動化されたパイプラインを構築すること。背景を維持しつつ、被写体の性別のみを編集することで、文脈を固定した状態で性別のみを変化させることを目的とする。
• データセットレベルの不均衡がモデルのバイアス評価を混乱させるのを防ぐことで、Bias@Kのようなバイアス指標の妥当性を高めること。
• CLIPベースのモデルで観察されるバイアスが、多くの場合、モデルの固有の関連性ではなく、データセットのアーチファクトに起因していることを示すこと。
• 合成データ生成の倫理的含み、特にバイアスの蓄積やジェンダー認識の単純化のリスクについての議論を開始すること。

提案手法

• 制御可能な画像編集モデルを用いて、COCOの画像から合成画像ペアを生成する。各画像は、同じシーンを異なる性別の被写体で描写するように編集される。
• 背景やシーンの文脈は変更せず、被写体のバウンディングボックスのみを変更することで、性別を唯一の変数として隔離する。
• KNNベースのフィルタリングパイプラインを用い、特徴空間上で合成画像と実画像を比較することで、品質が低いまたは現実的でない編集を除外する。
• フィルタリングを経た合成データセット（GenSynthと名付けた）を用い、複数のCLIPベースのモデルにおけるバイアス指標を再評価する。
• 固定された文脈において性別が均等に表現されるようにすることで、性別バイアスの制御された評価が可能になる。
• 手動でのキュレーションを回避し、視覚言語データセットの広範囲なバイアス除去を実現する。

Figure 1 : t-SNE clusters ( $M=20$ ) of gender-neutralised caption embeddings. Each cluster is manually assigned a name, then coloured and labelled according to its male over-representation factor. The male over-representation factor is the difference between the percentage of male images in the par

実験結果

リサーチクエスチョン

• RQ1 COCOにおける性別とシーン文脈の間の誤った相関が、Bias@Kのような標準的なバイアス指標をどの程度歪めるか？
• RQ2 固定された背景に対して性別がバランスされた合成対照セットを用いることで、視覚言語モデルにおけるバイアス評価の妥当性はどの程度向上するか？
• RQ3 元の不均衡なCOCOデータセットと比較して、バランスの取れた合成データセット上でバイアス指標はどのように変化するか？
• RQ4 CLIPベースのモデルで観察されるバイアスの多くが、モデルの固有の関連性ではなく、データセットバイアスに起因している程度はどの程度か？
• RQ5 特に分布シフトやバイアスの伝搬の観点から、合成データを用いたバイアス除去のリスクと限界は何か？

主な発見

• COCOデータセットには、性別と背景文脈の間で強い誤った相関関係が存在し、これにより標準的なバイアス指標（例：Bias@K）が無効化されている。
• 提案されたGenSynth合成対照セットは、性別×文脈バイアスを効果的に除去し、モデルの公平性評価をより信頼性のあるものにしている。
• 元のCOCOデータセットでは、シーン文脈における性別の不均衡が原因で、Bias@Kの値が顕著に歪められている。
• バランスの取れたGenSynthデータセット上で評価した場合、CLIPベースのモデルは性別間で類似したバイアススコアを示しており、観察された格差が主にデータセットのアーチファクトに起因していることが示された。
• 実画像とのKNN類似度に基づくフィルタリングパイプラインは、合成データの画像品質を効果的に維持し、分布シフトを低減するのに有効であった。
• 限界は存在するが、本研究は、合成対照セットが視覚言語のバイアス評価のための有効かつスケーラブルな代替手段となり得ることを示している。

Figure 2 : An overview of our pipeline for dataset debiasing across a target attribute, in this case gender, ensuring equal demographic representation. A source image containing a person is given as input to InstructPix2Pix along with instructions to synthesise each attribute label. The resulting ed