[论文解读] Discovering and Mitigating Visual Biases through Keyword Explanation

Younghyun Kim, Sangwoo Mo+4 more|arXiv (Cornell University)|Jan 26, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了Bias-to-Text（B2T）框架，该框架通过分析图像字幕中的语言解释来发现并缓解视觉模型中的视觉偏差。通过分析误分类或生成图像的字幕中的关键词，并应用CLIP和SD得分函数，B2T识别出虚假相关性（如“player”与“female”或“stethoscope”与“nurse”），在Waterbirds数据集上将最差组准确率提高了11%，并减少了文生图模型中的不公平/不安全生成。

ABSTRACT

Addressing biases in computer vision models is crucial for real-world AI deployments. However, mitigating visual biases is challenging due to their unexplainable nature, often identified indirectly through visualization or sample statistics, which necessitates additional human supervision for interpretation. To tackle this issue, we propose the Bias-to-Text (B2T) framework, which interprets visual biases as keywords. Specifically, we extract common keywords from the captions of mispredicted images to identify potential biases in the model. We then validate these keywords by measuring their similarity to the mispredicted images using a vision-language scoring model. The keyword explanation form of visual bias offers several advantages, such as a clear group naming for bias discovery and a natural extension for debiasing using these group names. Our experiments demonstrate that B2T can identify known biases, such as gender bias in CelebA, background bias in Waterbirds, and distribution shifts in ImageNet-R/C. Additionally, B2T uncovers novel biases in larger datasets, such as Dollar Street and ImageNet. For example, we discovered a contextual bias between "bee" and "flower" in ImageNet. We also highlight various applications of B2T keywords, including debiased training, CLIP prompting, and model comparison.

研究动机与目标

• 解决在不依赖预定义偏差类别的情况下，诊断和缓解视觉模型中未知视觉偏差的挑战。
• 通过从图像生成自然语言描述并提取常见关键词，实现在偏差发现过程中的可解释性。
• 开发一种通用的、与模型无关的框架，适用于图像分类器和文生图生成模型。
• 提升零样本分类器中最差组的鲁棒性，并减少扩散模型中不公平或不安全的图像生成。
• 提供一种实用且可扩展的方法，通过基于语言的视觉偏差模式解释来实现去偏差化。

提出的方法

• 使用预训练的字幕生成模型（如CLIP-Cap）从可能存在偏差的图像（如误分类图像或文本条件生成的图像）中生成自然语言描述。
• 从这些字幕中提取常见关键词，以识别与偏差预测或生成相关的重复术语。
• 提出一种CLIP得分，用于衡量偏差关键词与误分类图像之间的相似性，确保与模型失败的一致性。
• 引入SD（Stable Diffusion）得分，通过比较原始提示词与偏差关键词的扩散得分，验证生成图像是否反映偏差关键词。
• 利用识别出的关键词对模型进行去偏差化：在零样本分类器中增强提示词，或在文生图模型中引导扩散得分。
• 将该框架应用于检测和缓解图像分类与文生图生成任务中的虚假相关性。

实验结果

研究问题

• RQ1 对图像字幕的语言解释是否能有效揭示视觉模型中未知的视觉偏差？
• RQ2 像CLIP和SD这样的得分函数如何用于从字幕图像中过滤和验证偏差关键词？
• RQ3 基于关键词的去偏差化在多大程度上能提升零样本图像分类器中最差组的准确率？
• RQ4 B2T框架能否检测并缓解文生图生成中的不公平或不安全属性（如性别或裸露偏差）？
• RQ5 B2T框架是否在包括判别式和生成式架构在内的多种视觉模型上具有泛化能力？

主要发现

• B2T框架在Kaggle Face数据集中发现了‘player’与‘female’之间此前未被检测到的新虚假相关性。
• 使用B2T进行去偏差化后，Waterbirds数据集上的最差组准确率相比基线提高了11%。
• 对于文生图模型，B2T成功检测到性别偏差（如‘nurse’与‘woman’或‘stethoscope’的关联）以及生成图像中的不安全偏差（如‘naked’）。
• SD得分有效识别出生成图像中的不安全或不公平属性，得分越低表示偏差越明显。
• 该框架在多种基准测试中表现出稳健性能，包括ImageNet-C和各类文生图提示，展现出一致的偏差检测能力。
• CLIP和SD得分的使用显著减少了虚假正向偏差关键词，提升了所发现偏差的可靠性。