[论文解读] Leveraging Unlabeled Data to Predict Out-of-Distribution Performance

Saurabh Garg, Sivaraman Balakrishnan+3 more|arXiv (Cornell University)|Jan 11, 2022

Domain Adaptation and Few-Shot Learning被引用 19

一句话总结

本文提出平均阈值置信度（ATC），一种仅使用标记的源数据和未标记的目标数据来预测分布外（OOD）性能的方法。ATC 在源验证数据上设定置信度阈值，并将目标准确率估计为超过该阈值的未标记目标样本的比例，相较于先前方法在多种数据集和分布偏移类型下实现了 2–4 倍更低的估计误差。

ABSTRACT

Real-world machine learning deployments are characterized by mismatches between the source (training) and target (test) distributions that may cause performance drops. In this work, we investigate methods for predicting the target domain accuracy using only labeled source data and unlabeled target data. We propose Average Thresholded Confidence (ATC), a practical method that learns a threshold on the model's confidence, predicting accuracy as the fraction of unlabeled examples for which model confidence exceeds that threshold. ATC outperforms previous methods across several model architectures, types of distribution shifts (e.g., due to synthetic corruptions, dataset reproduction, or novel subpopulations), and datasets (Wilds, ImageNet, Breeds, CIFAR, and MNIST). In our experiments, ATC estimates target performance $2$-$4 imes$ more accurately than prior methods. We also explore the theoretical foundations of the problem, proving that, in general, identifying the accuracy is just as hard as identifying the optimal predictor and thus, the efficacy of any method rests upon (perhaps unstated) assumptions on the nature of the shift. Finally, analyzing our method on some toy distributions, we provide insights concerning when it works. Code is available at https://github.com/saurabhgarg1996/ATC_code/.

研究动机与目标

• 在仅能获取标记的源数据和未标记的目标数据时，估计模型在分布外测试数据上的准确率。
• 开发一种实用方法，避免需要来自多个目标域的校准或标记数据，这些在实际部署中往往不可用。
• 识别在存在固有分布偏移的情况下，理论上可实现准确 OOD 性能估计的条件。
• 在多种模型架构、数据集（如 ImageNet、Wilds、CIFAR）和偏移类型（合成、子群体、自然）上对 ATC 进行实证评估。
• 为 OOD 准确率估计的难度提供理论洞见，表明其难度与在无假设条件下识别最优预测器相当。

提出的方法

• ATC 使用标记的源验证数据学习模型置信度（例如最大 Softmax 概率或负熵）的阈值。
• 该阈值被选择为使得置信度高于该阈值的源验证样本比例等于模型在源数据上的准确率。
• 目标域准确率被估计为未标记目标样本中置信度超过该学习到的阈值的比例。
• 该方法不使用目标数据上的额外校准或回归，仅依赖于预训练模型的置信度分数。
• ATC 在源数据上使用和不使用事后温度缩放（TS）校准的情况下进行评估，以评估其鲁棒性。
• 该方法被应用于视觉和语言模型，包括 ResNet、DenseNet 和 DistilBERT，在 ImageNet、Wilds、BREEDS、CIFAR 和 MNIST 等数据集上进行测试。

实验结果

研究问题

• RQ1 在仅使用标记的源数据和未标记的目标数据时，OOD 性能在何种条件下可被准确预测？
• RQ2 ATC 与需要校准或来自多个目标域的标记数据的现有方法相比表现如何？
• RQ3 简单的置信度阈值方法是否能优于更复杂的基于回归或校准的方法？
• RQ4 OOD 准确率估计的理论极限是什么？不同类型的偏移假设如何影响这一极限？
• RQ5 ATC 是否在包括合成损坏、新子群体和自然分布偏移在内的多种偏移类型上具有泛化能力？

主要发现

• 在所有评估的数据集和偏移类型中，ATC 相较于先前方法将平均绝对估计误差降低了 2–4 倍。
• 在 ImageNet 自然偏移上，ATC 的平均绝对误差（MAE）为 0.73，优于次佳方法 DOC 的 2.22。
• 在包含新子群体的 FMoW-Wilds 数据集上，ATC 的 MAE 为 9.94，显著低于 DOC（13.24）和其他基线方法。
• 即使在未进行目标域校准的情况下，ATC 仍保持优异性能，而依赖校准的方法在未见分布上常表现失败。
• 消融研究显示，ATC 在对 DOC 进行鲁棒线性模型拟合以提升其性能后，仍优于基于回归的方法。
• 该方法在多种模型架构（ResNet、DenseNet、FCN、DistilBERT）和数据集（视觉与语言）上均表现良好，展现出广泛的实用价值。