[论文解读] How Robust are Model Rankings: A Leaderboard Customization Approach for Equitable Evaluation

Swaroop Mishra, Anjana Arunkumar|arXiv (Cornell University)|Jun 10, 2021

Software Engineering Research被引用 4

一句话总结

本文提出了一种排行榜自定义框架，通过基于难度加权样本（以虚假相关性、分布外（OOD）特征和模型置信度量化）对模型进行重排序，实现公平且面向特定应用的评估。该框架引入了加权指标（WSBias、WMProb），展示了性能膨胀的减少，并在与行业专家进行的用户研究中，通过可视化分析工具使预部署工作量平均减少41%。

ABSTRACT

Models that top leaderboards often perform unsatisfactorily when deployed in real world applications; this has necessitated rigorous and expensive pre-deployment model testing. A hitherto unexplored facet of model performance is: Are our leaderboards doing equitable evaluation? In this paper, we introduce a task-agnostic method to probe leaderboards by weighting samples based on their `difficulty' level. We find that leaderboards can be adversarially attacked and top performing models may not always be the best models. We subsequently propose alternate evaluation metrics. Our experiments on 10 models show changes in model ranking and an overall reduction in previously reported performance -- thus rectifying the overestimation of AI systems' capabilities. Inspired by behavioral testing principles, we further develop a prototype of a visual analytics tool that enables leaderboard revamping through customization, based on an end user's focus area. This helps users analyze models' strengths and weaknesses, and guides them in the selection of a model best suited for their application scenario. In a user study, members of various commercial product development teams, covering 5 focus areas, find that our prototype reduces pre-deployment development and testing effort by 41% on average.

研究动机与目标

• 调查当前排行榜是否因偏爱在简单或有偏样本上表现优异的模型而非更鲁棒的模型，而造成评估不公平。
• 通过识别并基于OOD特征和虚假相关性对困难样本进行加权，解决基准性能与实际部署之间的错位问题。
• 通过引入与任务无关的、基于难度的加权评估指标，反映特定应用需求，减少对人工智能能力的高估。
• 开发一种可视化分析工具，使最终用户能够根据自身关注领域自定义排行榜，提升模型选择效率。

提出的方法

• 使用语义文本相似度（STS）量化样本难度，以检测分布外（OOD）特征。
• 提出WSBias（加权虚假相关性）指标，为具有更强虚假相关性的样本分配更高权重。
• 引入WMProb（加权最大概率）指标，根据模型置信度对样本进行加权，惩罚高置信度的错误预测。
• 使用最大Softmax概率作为模型对难度自我评估的代理指标，实现置信度感知的评估。
• 设计一种可视化分析工具，根据用户定义的难度维度权重动态更新模型排名。
• 将该框架集成到排行榜自定义流水线中，支持多样化应用场景下的灵活、交互式评估。

实验结果

研究问题

• RQ1 排行榜是否可以通过基于难度重加权样本而被对抗性操纵，从而揭示排名靠前的模型可能并非最鲁棒？
• RQ2 现有评估指标在多大程度上高估了模型性能，加权指标在多大程度上可减少这种高估？
• RQ3 基于特定应用的难度标准自定义排行榜，在现实环境中如何提升模型选择效率？
• RQ4 支持动态排行榜自定义的可视化分析工具是否能减少工业团队的预部署开发与测试工作量？

主要发现

• 排行榜排名并不稳健：在标准排行榜中排名第一的模型在困难或OOD样本上可能表现不佳，表明评估存在不公平性。
• 所提出的加权指标（WSBias和WMProb）将先前报告的模型性能最高降低15%，纠正了对人工智能能力的高估。
• 在5个关注领域中，9支工业团队参与的用户研究显示，使用可自定义排行榜工具后，预部署开发与测试工作量平均减少41%。
• 该框架能够检测到模型的弱点，如对虚假线索的过度依赖和OOD泛化能力差，这些在基于准确率的标准排名中被掩盖。
• 对10个模型使用该框架分析后，揭示了其独特的优劣势，部分模型在OOD泛化方面表现优异，但在有偏样本上表现失败，凸显了上下文感知评估的必要性。
• 可视化分析工具通过允许用户优先考虑与其应用相关的难度维度，成功校准了模型评估，提升了决策效率。