[论文解读] Making AI Evaluation Deployment Relevant Through Context Specification

Matthew Holmes, Thiago Lacerda+1 more|arXiv (Cornell University)|Mar 6, 2026

Ethics and Social Impacts of AI被引用 2

一句话总结

论文提出将上下文规范化视为一种基础的、描述性过程，用以将部署相关的利益相关者优先级转化为可评估的构念，从而指导现实世界的AI评估与部署决策。

ABSTRACT

With many organizations struggling to gain value from AI deployments, pressure to evaluate AI in an informed manner has intensified. Status quo AI evaluation approaches mask the operational realities that ultimately determine deployment success, making it difficult for decision makers outside the stack to know whether and how AI tools will deliver durable value. We introduce and describe context specification as a process to support and inform the deployment decision making process. Context specification turns diffuse stakeholder perspectives about what matters in a given setting into clear, named constructs: explicit definitions of the properties, behaviors, and outcomes that evaluations aim to capture, so they can be observed and measured in context. The process serves as a foundational roadmap for evaluating what AI systems are likely to do in the deployment contexts that organizations actually manage.

研究动机与目标

• 推动需要超越模型中心基准的部署相关评估的必要性。
• 将上下文规范化引入作为将利益相关者优先级转化为可评估构念的基础步骤。
• 描述一种描述性、非强制性流程，系统性地捕捉用于评估设计的部署情境。
• 提供输出物（上下文简报、构念、连接机制），搭建部署与评估之间的桥梁。

提出的方法

• 提出一种描述性流程，而非规定性标准。
• 以Inputs → Activities → Outputs → Outcomes的框架来呈现输入、活动、输出和结果。
• 阐明引出方式、以及自动化提取与人为参与的作用。
• 将Context Brief定义为将优先级与可评估构念连接的主要工件。
• 通过示例用例进行说明，展示输出如何约束评估设计选择。

Figure 1: Context specification serves as the ”Contextualize” step in the CIRCLE real-world AI evaluation lifecycle from [ 26 ] .

实验结果

研究问题

• RQ1 评估为何与部署相关，如何将上下文显性化以用于评估？
• RQ2 在部署情境中，如何将利益相关者的优先级转化为可观测、可评估的构念？
• RQ3 上下文规范化产出什么以指导后续评估设计？
• RQ4 在识别出的构念与连接机制下，评价方法应如何选择？
• RQ5 在实际部署中应用上下文规范化的局限性与未来方向是什么？

主要发现

• 上下文规范化产生一组结构化的输出：利益相关者优先级、可评估构念、使用情境要素、连接机制、候选可观测项以及不确定性。
• 它提供了从优先级项到构念与指标的映射，形成评估设计的桥梁。
• 如Context Brief等输出物能支持是否推进、试点设计、扩展与退役决策。
• 评估设计选择成为在控制与情境丰富性之间的权衡，取决于所识别的构念。
• 该方法强调评估方法并非中性，应与部署情境和风险保持一致。
• 本文通过在铁路运营商情境中的AI驱动人力资源筛选的示例用例演示该方法。

Figure 2: Context specification as the deployment-to-evaluation translation step: turning stakeholder priority items into evaluable constructs and evidence needs.