[论文解读] Dynaboard: An Evaluation-As-A-Service Platform for Holistic Next-Generation Benchmarking

Zhiyi Ma, Kawin Ethayarajh+7 more|arXiv (Cornell University)|May 21, 2021

Topic Modeling参考文献 74被引用 15

一句话总结

Dynaboard 是一种评估即服务（evaluation-as-a-service）平台，通过将准确率、延迟、内存使用、鲁棒性和公平性等多种指标聚合为可自定义的 Dynascore，实现对 NLP 模型的全面、实时基准测试。它通过在云端直接评估模型，消除了可复现性和可访问性问题，使用户能够根据其偏好的指标权重动态重新排序模型。

ABSTRACT

We introduce Dynaboard, an evaluation-as-a-service framework for hosting benchmarks and conducting holistic model comparison, integrated with the Dynabench platform. Our platform evaluates NLP models directly instead of relying on self-reported metrics or predictions on a single dataset. Under this paradigm, models are submitted to be evaluated in the cloud, circumventing the issues of reproducibility, accessibility, and backwards compatibility that often hinder benchmarking in NLP. This allows users to interact with uploaded models in real time to assess their quality, and permits the collection of additional metrics such as memory use, throughput, and robustness, which -- despite their importance to practitioners -- have traditionally been absent from leaderboards. On each task, models are ranked according to the Dynascore, a novel utility-based aggregation of these statistics, which users can customize to better reflect their preferences, placing more/less weight on a particular axis of evaluation or dataset. As state-of-the-art NLP models push the limits of traditional benchmarks, Dynaboard offers a standardized solution for a more diverse and comprehensive evaluation of model quality.

研究动机与目标

• 解决仅依赖准确率的静态排行榜的局限性，因为这种做法与真实用户对模型质量的偏好不一致。
• 通过在云端直接评估模型而非依赖自报结果，克服 NLP 基准测试中的可复现性、可访问性和向后兼容性问题。
• 通过整合推理速度、内存使用、公平性和鲁棒性等指标，实现超越准确率的全面评估。
• 通过 Dynascore 提供动态、可自定义的模型排名，该指标根据用户定义的权重聚合各项指标。
• 通过允许用户实时交互模型并识别失败案例，促进社区驱动的模型分析。

提出的方法

• 在与 Dynabench 集成的云评估后端上托管模型，实现无需依赖自报指标的直接、可复现的评估。
• 收集每项模型的多种指标，包括准确率、吞吐量、内存使用情况，以及对对抗性或扰动输入的鲁棒性。
• 通过在输入文本中对性别和种族/族裔进行启发式扰动来实施公平性评估，以衡量模型在不同人口群体中的表现一致性。
• 根据用户偏好，将性能和非性能指标以效用为基础进行聚合，计算 Dynascore。
• 支持动态排行榜交互，用户可实时调整指标权重以查看更新后的模型排名。
• 集成前端可视化功能，使用户能够探索模型行为、检查预测结果，并交互式地识别失败案例。

实验结果

研究问题

• RQ1 如何通过整合效率、公平性和鲁棒性等非准确率指标，使 NLP 模型评估更加全面？
• RQ2 基于云的评估即服务平台在多大程度上能提升 NLP 基准测试的可复现性和可访问性？
• RQ3 用户定义的指标权重如何影响模型排名？与静态准确率排行榜相比，动态 Dynascore 是否能更好地反映多样化的用户偏好？
• RQ4 当前基于启发式方法的公平性扰动在检测性别和种族/族裔相关模型偏差方面存在哪些局限性？
• RQ5 在共享平台上实时交互模型是否有助于识别失败案例，并指导未来模型的开发？

主要发现

• Dynaboard 实现了基于云端的 NLP 模型实时评估，消除了与自报结果相关的可复现性和可访问性问题。
• Dynascore 根据用户定义的指标权重动态重新排序模型，实现个性化评估，反映用户对准确率、效率或公平性的不同优先级。
• 模型在吞吐量、内存使用和对扰动的鲁棒性等多个指标上进行评估，提供了比仅依赖准确率更全面的模型质量视图。
• 通过性别和种族/族裔扰动进行的公平性评估揭示了模型表现的不一致性，但因语法和数据质量问题，性别中性扰动被排除。
• 平台通过警告用户 Dynascore 具有上下文依赖性且应附带完整元数据（包括权重和时间戳）来防止其被误用。
• 通过整合人机协同的数据生成与评估，Dynaboard 支持开发下一代更具鲁棒性和代表性的基准。