[论文解读] Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation

Jannik Kossen, Sebastian Farquhar+2 more|arXiv (Cornell University)|Feb 14, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出主动代理估计器（ASEs），一种新颖的主动学习方法，用于标签高效的模型评估。该方法利用主动学习的代理模型预测未标记数据中的损失，其在估计深度神经网络风险方面显著优于当前最先进方法（如 LURE 和自适应 IS），且所需标签数量极少。ASEs 通过代理模型插值损失，并采用一种专为估计精度设计的新颖获取策略 XWED，即使在无需测试标签的零样本设置下也能实现卓越性能。

ABSTRACT

We propose Active Surrogate Estimators (ASEs), a new method for label-efficient model evaluation. Evaluating model performance is a challenging and important problem when labels are expensive. ASEs address this active testing problem using a surrogate-based estimation approach that interpolates the errors of points with unknown labels, rather than forming a Monte Carlo estimator. ASEs actively learn the underlying surrogate, and we propose a novel acquisition strategy, XWED, that tailors this learning to the final estimation task. We find that ASEs offer greater label-efficiency than the current state-of-the-art when applied to challenging model evaluation problems for deep neural networks.

研究动机与目标

• 为解决模型评估中标签获取成本高昂的问题，特别是在医学影像或实验物理等需要专家投入的领域。
• 克服蒙特卡洛方法和重要性采样在标签高效评估中的局限性，例如早期提案权重不佳导致的高方差，以及对标签噪声的敏感性。
• 开发一种灵活的主动学习框架，通过学习数据集中损失的代理模型，实现高效且准确的风险估计。
• 设计一种新颖的获取策略 XWED，直接优化估计性能而非提案质量，从而提升标签效率。

提出的方法

• ASEs 使用代理模型 $ g $ 预测未标记数据池中所有点的损失，取代传统的蒙特卡洛或重要性采样估计器。
• 代理模型 $ g $ 通过主动选择的标签迭代优化，使所有点的预测结果均可回溯改进，而不仅限于新标记的样本。
• 一种新颖的获取函数 XWED（扩展加权期望分歧）基于其对最终估计误差减少的预期贡献来选择需标记的样本，而非仅关注提案质量。
• XWED 通过计算当前代理模型与假设未来代理模型之间的预期分歧，并结合不确定性加权，优先选择信息量大的样本。
• 该方法支持确定性获取策略，而无需像重要性采样方法那样依赖随机提案以避免偏差。
• ASEs 兼容任意可微损失函数，可直接从代理模型预测的损失中估计准确率、风险或其他性能指标。

实验结果

研究问题

• RQ1 基于代理的估计框架是否能在标签高效评估中超越蒙特卡洛和重要性采样方法，用于深度神经网络？
• RQ2 与传统主动学习或自适应 IS 方法相比，主动学习代理模型在多大程度上提升了标签效率？
• RQ3 ASEs 在完全无测试标签的情况下，能在多大程度上实现准确的风险估计，仅依赖训练数据和一个训练良好的代理模型？
• RQ4 XWED 获取策略在降低估计器方差和提升收敛速度方面，与现有获取函数相比表现如何？
• RQ5 与重要性采样估计器相比，ASEs 受标签噪声影响如何？在存在噪声观测时，ASEs 是否仍能保持准确性？

主要发现

• ASEs 在多个图像分类基准上，持续优于当前最先进方法（包括 LURE 和自适应 IS），在估计深度神经网络风险方面表现更优。
• 在无任何测试标签的零样本设置下，ASEs 的误差显著低于 LURE，即使 LURE 拥有最多 50 个测试标签，凸显了代理泛化能力的强大。
• ASEs 的性能受限于数据池大小 $ N $，而非代理模型质量，表明该方法在数据量增加时具有良好的可扩展性。
• 即使训练集缩减至 10,000 个样本，ASEs 仍相对于基线方法保持显著性能优势，显示出对数据有限情况的鲁棒性。
• XWED 获取策略在早期标注阶段表现出更快收敛速度和更低方差，因其直接聚焦于减少估计误差。
• ASEs 对标签噪声具有鲁棒性，因其直接建模损失的条件分布；而重要性采样方法在噪声观测下方差显著增加。