[论文解读] DASH: Visual Analytics for Debiasing Image Classification via User-Driven Synthetic Data Augmentation

Bum Chul Kwon, Jungsoo Lee+4 more|arXiv (Cornell University)|Jan 1, 2022

Cell Image Analysis Techniques被引用 8

一句话总结

DASH 是一个视觉分析系统，通过交互式可视化识别偏见因素、基于 XploreGAN 的图像到图像转换生成合成训练数据，并迭代式微调模型，实现人机协同的图像分类模型去偏。该系统在有偏数据集上显著提升了模型准确率，用户经多次迭代优化后，在卡通数据集上达到 90% 的测试准确率，在水果数据集上达到 65%。

ABSTRACT

Image classification models often learn to predict a class based on irrelevant co-occurrences between input features and an output class in training data. We call the unwanted correlations ''data biases,'' and the visual features causing data biases ''bias factors.'' It is challenging to identify and mitigate biases automatically without human intervention. Therefore, we conducted a design study to find a human-in-the-loop solution. First, we identified user tasks that capture the bias mitigation process for image classification models with three experts. Then, to support the tasks, we developed a visual analytics system called DASH that allows users to visually identify bias factors, to iteratively generate synthetic images using a state-of-the-art image-toimage translation model, and to supervise the model training process for improving the classification accuracy. Our quantitative evaluation and qualitative study with ten participants demonstrate the usefulness of DASH and provide lessons for future work.

研究动机与目标

• 解决图像分类模型中的数据偏见问题，即模型学习到无关视觉特征（如沼泽背景）与类别标签（如青蛙）之间的虚假相关性。
• 通过可视化探索模型预测结果和特征重要性，支持数据科学家识别偏见因素。
• 通过最先进的图像转换技术（XploreGAN）生成去除偏见因素的合成图像，实现迭代式、用户引导的数据增强。
• 提供统一的可视化界面，用于监控各次微调迭代中的模型性能，并指导模型优化。

提出的方法

• DASH 集成多个协同的可视化视图：投影视图用于潜在空间聚类，马赛克视图用于比较各次迭代的模型性能，轨迹视图用于追踪预测变化。
• 梯度类激活映射（Grad-CAM）视图可视化注意力图，识别影响分类决策的图像区域，辅助检测偏见因素。
• 聚类 GAN 视图利用 XploreGAN 将源图像的视觉属性（如背景）转移到目标图像，同时保留主要物体，实现合成数据生成。
• 增强图像视图显示新生成的带标签图像以用于再训练，分类器看板则用于追踪各模型版本的性能指标。
• 用户通过系统提供的可视化反馈循环，迭代识别偏见来源、生成合成数据、微调模型并评估性能。
• 系统通过允许调整超参数并借助可视化与定量反馈对比不同模型版本，支持用户驱动的模型再训练。

实验结果

研究问题

• RQ1 视觉分析如何支持数据科学家识别图像分类模型中的偏见因素？
• RQ2 哪些可视化交互模式能够有效支持用户驱动的合成数据生成以实现去偏？
• RQ3 用户参与数据增强在模型性能提升与偏见缓解方面产生何种影响？
• RQ4 在使用此类系统进行模型去偏时，面临的主要挑战与可用性障碍是什么？

主要发现

• 十名机器学习专家成功利用 DASH 在两个真实世界数据集中缓解了数据偏见，使卡通数据集的测试准确率达到 90%。
• 十名参与者中有七人达到水果数据集 65% 的测试准确率，表明该系统在更复杂的真实世界数据上也具有有效性。
• 用户在卡通数据集上平均进行 2.1 次再训练迭代，在水果数据集上为 3.3 次，表明迭代优化是必要且受 DASH 支持的。
• Wilcoxon signed-rank 检验确认两次数据集之间的再训练工作量存在统计显著差异（p=0.048），反映出感知难度的差异。
• 用户报告称，先验知识和领域专业知识至关重要，部分用户因对技术（如 Grad-CAM）缺乏信任而避免使用某些视图。
• 参与者建议增加功能，如增强历史记录追踪和对频繁误分类图像的专用分析，为未来系统改进提供了方向。