[论文解读] EvalAI: Towards Better Evaluation Systems for AI Agents

Deshraj Jain, Rishabh Jain+7 more|arXiv (Cornell University)|Feb 10, 2019

Machine Learning and Data Classification参考文献 21被引用 44

一句话总结

EvalAI 是一个开源平台，用于可扩展地评估和比较 ML/AI 模型及代理，支持人类在环和在动态环境中的远程评估，具有可定制的管线。

ABSTRACT

We introduce EvalAI, an open source platform for evaluating and comparing machine learning (ML) and artificial intelligence algorithms (AI) at scale. EvalAI is built to provide a scalable solution to the research community to fulfill the critical need of evaluating machine learning models and agents acting in an environment against annotations or with a human-in-the-loop. This will help researchers, students, and data scientists to create, collaborate, and participate in AI challenges organized around the globe. By simplifying and standardizing the process of benchmarking these models, EvalAI seeks to lower the barrier to entry for participating in the global scientific effort to push the frontiers of machine learning and artificial intelligence, thereby increasing the rate of measurable progress in this domain.

研究动机与目标

• 激发对强健评估平台的需求，超越静态数据集和孤立模型。
• 描述现代 AI 评估的愿望清单，包括人类在环的评估和环境驱动的基准测试。
• 介绍 EvalAI 作为一个可扩展的开源解决方案，解决自定义管线、多个阶段和远程评估的问题。
• 通过跨模态与具身 AI 任务的案例研究，展示 EvalAI 的体系结构与能力。

提出的方法

• 提出一个可扩展的评估平台，支持任意评估阶段和数据集拆分。
• 使用容器化（Docker）和带 REST API 的 Web 后端（Django）来管理提交和结果。
• 实现一个远程评估管线，通过消息队列（SQS）解耦 Web 服务器和工作者池。
• 通过实时将 AMT 工作人员与代理配对并收集交互数据，支持人类在环评估。
• 允许组织者提交模型代码和制品（Docker 镜像、S3 资源）以在动态环境中进行评估。

实验结果

研究问题

• RQ1 评估平台如何在可扩展的情况下同时支持静态与基于环境的动态 AI 任务？
• RQ2 哪些架构选择能够实现灵活的多阶段、多拆分基准测试，具备人类在环和远程评估？
• RQ3 EvalAI 在涉及多模态任务和具身 AI 的真实世界挑战中表现如何？

主要发现

• EvalAI 在 VQA 挑战中显著加快评估速度，相比先前的设置约提升 12 倍。
• 该平台支持多个挑战阶段和数据拆分，实现持续评估和隐私受控的排行榜。
• 远程评估允许组织者在私有集群上运行重计算任务，同时保持集中式领导与提交处理。
• 在人类在环评估方面具有可扩展性，在视觉对话任务中通过实时的工人-代理交互得到验证。
• 案例研究显示在 VQA、Visual Dialog、Embodied Question Answering 和 fastMRI 挑战中的实际适用性。