[論文レビュー] Survey of Social Bias in Vision-Language Models

Nayeon Lee, Yejin Bang+4 more|arXiv (Cornell University)|Sep 24, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本サーベイは、ビジョン・ランゲージモデル（VLM）における社会的バイアスについて、単モodal（NLP、CV）とマルチモーダル（VL）の設定において、バイアスのメカニズム、評価指標、緩和戦略を包括的に分析する。アーキテクチャ設計、プロンプトテンプレート、マルチ属性バイアスが主な課題であると特定し、パフォーマンスを損なわずに公平性を向上させるために、軽量なポストプロセッシングおよび統一されたバイアス測定フレームワークを提案する。

ABSTRACT

In recent years, the rapid advancement of machine learning (ML) models, particularly transformer-based pre-trained models, has revolutionized Natural Language Processing (NLP) and Computer Vision (CV) fields. However, researchers have discovered that these models can inadvertently capture and reinforce social biases present in their training datasets, leading to potential social harms, such as uneven resource allocation and unfair representation of specific social groups. Addressing these biases and ensuring fairness in artificial intelligence (AI) systems has become a critical concern in the ML community. The recent introduction of pre-trained vision-and-language (VL) models in the emerging multimodal field demands attention to the potential social biases present in these models as well. Although VL models are susceptible to social bias, there is a limited understanding compared to the extensive discussions on bias in NLP and CV. This survey aims to provide researchers with a high-level insight into the similarities and differences of social bias studies in pre-trained models across NLP, CV, and VL. By examining these perspectives, the survey aims to offer valuable guidelines on how to approach and mitigate social bias in both unimodal and multimodal settings. The findings and recommendations presented here can benefit the ML community, fostering the development of fairer and non-biased AI models in various applications and research endeavors.

研究の動機と目的

• NLP、CV、ビジョン・ランゲージ（VL）モデルにおける社会的バイアスの類似点と相違点を分析すること。
• マルチモーダルなビジョン・ランゲージ事前学習モデル（VLP）におけるバイアスの評価と緩和の主な課題を特定すること。
• 単モーダルおよびマルチモーダルAIシステムにおけるバイアス評価と緩和のための実行可能なガイドラインを提供すること。
• 特にマルチ属性バイアスとプロンプトテンプレートへの感受性に関する研究のギャップを埋めること。
• 倫理的なAI原則に整合した、より公平で差別ののないAIシステムの開発を支援すること。

提案手法

• 統一された公平性フレームワークを用いて、NLP、CV、VLモデルにおけるバイアス指標と緩和技術を体系的に分類する。
• 3つの主要なVLPアーキテクチャ—統合エンコーダ、デュアルストリーム、エンコーダデコーダ—をレビューし、バイアス伝搬に与える影響を強調する。
• 内因的および外因的バイアス評価手法を提案する。これには、クロスモーダル関連の測定とプロンプトベースのプロービングが含まれる。
• 学習されたバイアス方向に沿ってテキスト埋め込みを投影する軽量なポストプロセッシング手法を導入し、意味的意味を保持する。
• 正則化制約を用いて、投影後のデバイアス化されたプロンプトが元の意味的内容を保持することを保証する。
• 今後の研究として、単モーダルバイアス測定、プロンプトテンプレートへの耐性、VLPにおけるマルチ属性緩和を推奨する。

Figure 1. Illustration of the Fitzpatrick scale (Fitzpatrick, 1975 ) from Hazirbas et al . ( 2021 ) .

実験結果

リサーチクエスチョン

• RQ1 ビジョン・ランゲージモデルにおける社会的バイアスは、単モーダルなNLPおよびCVモデルと比較して、起源、現れ方、影響の面でどのように異なるか？
• RQ2 テキストおよび画像エンコーダーにおける単モーダルバイアスは、VLPにおける全体的なマルチモーダルバイアスにどの程度寄与するか？
• RQ3 プロンプトテンプレートの選択が、ビジョン・ランゲージモデルにおける外因的社会的バイアスの測定にどのように影響するか？
• RQ4 ポストプロセッシング手法は、下流タスクのパフォーマンスを劣化させることなく、VLPにおける社会的バイアスを効果的に低減できるか？
• RQ5 マルチモーダルモデルにおいて、複数の保護属性（例：性別、人種）を同時に緩和する際の主な課題は何か？

主な発見

• ビジョン・ランゲージモデルは、主にテキストおよび画像エンコーダーから派生する単モーダルのバイアスを引き継ぎ、それを強化する。特にデュアルストリームアーキテクチャでは、単モーダルバイアスの別個分析が可能である。
• プロンプトテンプレートの選択は、外因的バイアス測定に顕著な影響を与え、評価において考慮すべきばらつきを生じさせる。
• 学習されたバイアス方向に沿ってテキスト埋め込みを投影するポストプロセッシング手法は、意味的意味を保持しつつ、バイアスを効果的に低減できる。
• 現在のバイアス緩和技術はしばしば下流タスクのパフォーマンスを低下させるため、バイアスを低減しつつパフォーマンスを損なわない手法の開発が急務である。
• 特にマルチモーダルな文脈において、複数の保護属性を同時に緩和する研究が著しく不足している。
• 単モーダル空間（例：CLIPのテキストおよび画像エンコーダー）における詳細なバイアス評価は、クロスモーダル統合の前からバイアスが独立して存在することを示しており、単モーダルバイアスが全体のマルチモーダルバイアスに寄与していると考えられる。

Figure 2. Illustration of counterfactual image synthesis from Joo and Kärkkäinen ( 2020 ) .