[论文解读] Global explanations for discovering bias in data.

Agnieszka Mikołajczyk, Michał Grochowski+1 more|arXiv (Cornell University)|May 5, 2020

Cutaneous Melanoma Detection and Management被引用 2

一句话总结

本文提出一种基于注意力机制的全局解释框架，用于检测和分析表格数据与图像数据中的偏差，通过反事实偏差插入技术识别影响模型的显著特征。在皮肤病变数据集上，研究发现训练图像中的黑色边框会导致良性到恶性预测的偏差增加22%，表明偏差检测对模型鲁棒性至关重要。

ABSTRACT

In the paper, we propose attention-based summarized post-hoc explanations for detection and identification of bias in data. We propose a global explanation and introduce a step-by-step framework on how to detect and test bias. Then, the bias is evaluated with a proposed counterfactual approach to bias insertion. Because removing the unwanted bias is often a complicated and tremendous task, we automatically insert it, instead. We validate our results on the example of the skin lesion dataset. Using the method, we successfully identified and confirmed part of the possible bias-causing artifacts in dermoscopy images. We confirmed that the commonplace black frames in the training dataset images have a strong influence on the Convolutional Neural Network's prediction. After artificially adding a black frame to all images, around 22% of them changed the prediction from benign to malignant. We have shown that bias detection is an important step of making more robust models, and we discuss how to improve them

研究动机与目标

• 开发一种用于检测机器学习数据集中偏差的全局解释方法。
• 识别图像数据中的偏差成因特征，特别是在皮肤镜等医学影像中。
• 通过人工插入偏差的反事实方法评估偏差的影响。
• 证明偏差检测对于构建更鲁棒、更可靠的模型至关重要。
• 表明常见数据特征（如黑色边框）可能显著扭曲模型预测。

提出的方法

• 该方法利用注意力机制生成全局事后解释，突出显示影响模型预测的特征。
• 提出一种分步框架，用于检测和测试数据中的偏差，重点关注数据层面的特征。
• 通过在数据集中所有图像中人工添加黑色边框，应用反事实偏差插入技术。
• 在偏差插入后测量模型预测的变化，以评估特定特征的影响。
• 评估单一特征（如黑色边框）在数据集中对预测结果的影响程度。
• 在皮肤病变皮肤镜数据集上验证该方法，以证明其在现实场景中的适用性。

实验结果

研究问题

• RQ1 在皮肤镜图像中，哪些数据层面的特征显著影响模型预测？
• RQ2 如何利用全局解释检测机器学习模型中的偏差？
• RQ3 训练图像中黑色边框的存在在多大程度上改变了模型从良性到恶性的预测？
• RQ4 反事实偏差插入能否有效揭示模型行为中的隐藏偏差？
• RQ5 如何通过偏差检测提升深度学习模型在医学影像中的鲁棒性？

主要发现

• 皮肤镜图像中黑色边框的存在显著影响卷积神经网络的预测结果，导致良性到恶性分类的偏差增加22%。
• 在数据集中所有图像中人工添加黑色边框，导致模型预测出现显著且可测量的变化。
• 研究证实，常见数据特征（如边框）可能在模型输出中引入系统性偏差。
• 基于注意力的全局解释能有效识别并突出图像数据中导致偏差的特征。
• 通过反事实插入的偏差检测方法在揭示数据层面特征对模型行为的隐藏影响方面表现出有效性。
• 研究结果强调，偏差检测是构建更鲁棒、更可信的机器学习模型的关键步骤。