[论文解读] Missingness Bias in Model Debugging
本文识别出‘缺失性偏差’——一种由卷积神经网络（CNNs）中启发式像素遮蔽（例如，置为黑色）引起的模型调试失真，该方法会干扰模型行为，破坏LIME等可解释性工具的有效性。本文提出使用视觉变换器（ViTs），其通过丢弃图像标记（tokens）天然支持缺失性，从而减少偏差，并在无需微调的情况下实现更可靠的调试。
Missingness, or the absence of features from an input, is a concept fundamental to many model debugging tools. However, in computer vision, pixels cannot simply be removed from an image. One thus tends to resort to heuristics such as blacking out pixels, which may in turn introduce bias into the debugging process. We study such biases and, in particular, show how transformer-based architectures can enable a more natural implementation of missingness, which side-steps these issues and improves the reliability of model debugging in practice. Our code is available at https://github.com/madrylab/missingness
研究动机与目标
- 调查计算机视觉中启发式像素遮蔽如何在模型调试过程中引入偏差。
- 证明此类缺失性近似会扭曲模型行为，尤其在CNN中，导致不可靠的可解释性结果。
- 表明视觉变换器（ViTs）可通过标记丢弃实现更自然且偏差更小的缺失性。
- 评估是否需要在训练过程中引入缺失性（如ROAR方法）以实现准确的调试，特别是在基于缺失性的方法中。
- 确立ViT在缺失性条件下保持一致预测，而CNN则不然，从而实现对原始模型的直接分析，无需代理微调。
提出的方法
- 作者在ImageNet和CIFAR-10数据集上，对比标准CNN（如ResNet-50）与视觉变换器（ViT-S）在缺失性条件下的模型行为。
- 通过遮蔽图像块（用于CNN）或丢弃对应ViT标记（用于ViT）实现缺失性，模拟特征移除。
- 使用LIME评估调试可靠性，并通过掩码前后预测的Jaccard相似度衡量解释一致性。
- 在训练过程中引入缺失性（如ROAR方法）对模型进行微调，以评估其是否能缓解偏差，并对比微调前后模型的表现。
- 利用预测一致性、类别分布偏移和显著性图质量量化偏差与模型可靠性。
- 在多个数据集（ImageNet、CIFAR-10、MS-COCO）上分析模型行为，覆盖不同掩码阈值与块大小。
实验结果
研究问题
- RQ1启发式像素遮蔽近似如何在CNN中引入模型调试偏差？
- RQ2缺失性偏差在多大程度上影响LIME等特征归因方法的可靠性？
- RQ3视觉变换器（ViTs）是否能通过标记丢弃自然支持缺失性，从而相比像素遮蔽减少偏差？
- RQ4在训练过程中引入缺失性（如ROAR方法）是否能消除偏差？这对ViTs是否必要？
- RQ5ViT原始模型是否可安全用于调试而无需微调，而CNN则不能？
主要发现
- CNN中的像素遮蔽导致显著的缺失性偏差，造成不一致且不可靠的LIME解释，其表现与随机噪声无异。
- 在MS-COCO图像中，即使遮蔽了人物区域，ViT-S模型对非人物类别的预测仍保持高度一致，而ResNet-50则表现出显著的预测偏移。
- 在CIFAR-10上，ViT-S在遮蔽过程中维持预测的图像比例远高于ResNet-50，后者在移除图像块后预测迅速改变。
- CNN需要微调以缓解缺失性偏差，但ViT无需微调——标准与微调后的ViT模型在缺失性条件下行为几乎完全一致。
- ViT的基于标记的架构实现了更自然、偏差更小的缺失性形式，使原始模型可直接用于调试，无需代理微调。
- 缺失性偏差会干扰模型对剩余图像特征的利用，并使输出分布偏向无关类别，尤其在CNN中更为明显。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。