[论文解读] Distilling Model Failures as Directions in Latent Space

Saachi Jain, Hannah R. Lawrence+2 more|arXiv (Cornell University)|Jun 29, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出了一种可扩展的方法，通过在归一化嵌入上使用线性分类器，自动检测并以可解释的方向表示潜在特征空间中的模型失败模式。通过识别一致的错误模式，该框架实现了自动子群体发现、失败模式的人类可读描述，以及通过扩散模型进行针对性的合成数据增强，从而在无需人工干预的情况下提升模型鲁棒性。

ABSTRACT

Existing methods for isolating hard subpopulations and spurious correlations in datasets often require human intervention. This can make these methods labor-intensive and dataset-specific. To address these shortcomings, we present a scalable method for automatically distilling a model's failure modes. Specifically, we harness linear classifiers to identify consistent error patterns, and, in turn, induce a natural representation of these failure modes as directions within the feature space. We demonstrate that this framework allows us to discover and automatically caption challenging subpopulations within the training dataset. Moreover, by combining our framework with off-the-shelf diffusion models, we can generate images that are especially challenging for the analyzed model, and thus can be used to perform synthetic data augmentation that helps remedy the model's failure modes. Code available at https://github.com/MadryLab/failure-directions

研究动机与目标

• 解决缺乏可扩展、自动检测数据集中困难子群体和虚假相关性而无需人工干预的方法的问题。
• 克服现有可解释性方法仅关注单个输入而非全局一致失败模式的局限性。
• 实现对跨模型架构和数据集具有泛化能力的自动、可解释的失败模式识别。
• 通过针对识别出的失败方向定制的合成数据增强，支持可操作的模型改进。
• 提供一个框架，以揭示大规模数据集（如 ImageNet 和 ChestX-ray14）中的隐藏偏差和分布偏移。

提出的方法

• 在预训练模型的归一化特征嵌入上训练线性分类器（SVM），以检测一致的预测错误。
• 利用每个SVM的决策边界在潜在空间中定义一条‘失败方向’，代表特定的错误模式。
• 通过测量每个数据点与失败方向的对齐程度，量化其与该失败模式的相关性。
• 使用现成的扩散模型生成与失败方向对齐的合成图像，以增强训练数据。
• 将该框架应用于多种数据集（CIFAR-10、ImageNet、ChestX-ray14），在无需人工标注的情况下检测失败模式。
• 通过CLIP进行描述生成，自动为每个失败方向分配可解释、人类可理解的描述。

实验结果

研究问题

• RQ1 机器学习模型中的失败模式能否被自动检测并表示为潜在空间中的可解释方向？
• RQ2 该方法识别出的失败方向是否能在不同模型架构之间泛化，即使这些模型在相同数据上进行训练？
• RQ3 该框架能否在无需手动标注或数据探索的情况下，识别出有意义且人类可理解的子群体？
• RQ4 基于失败方向的合成数据增强在多大程度上能提升模型在困难子群体上的鲁棒性？
• RQ5 失败方向与已知数据人工制品（如医学影像中的投照视图（AP vs PA））的相关性如何？

主要发现

• 从ResNet18中提取的失败方向可泛化至其他架构，包括ResNet50和ViT-B，且表现出相似的子群体准确率模式。
• 在ImageNet上，该方法成功识别出具有高度一致性的失败模式，其子群体准确率差异与模型特定SVM描述相当。
• 在ChestX-ray14中，该框架检测到AP视图的X光片被模型系统性地误分类为‘健康’，尤其在积液和浸润等病症中更为明显。
• 对于‘肿块’病症，该框架识别出AP视图对‘非健康’类别的分类更具挑战性，揭示了此前未被注意到的偏差。
• 利用扩散模型生成针对失败模式的合成数据显著提升了模型在困难子群体上的性能，证明了有效数据增强。
• 通过CLIP自动生成的失败方向描述在语义上具有意义，并与影像视图或解剖学人工制品等视觉模式一致。