[论文解读] CommonsenseQA 2.0: Exposing the Limits of AI through Gamification

Alon Talmor, Ori Yoran+5 more|arXiv (Cornell University)|Jan 14, 2022

Mobile Crowdsensing and Crowdsourcing参考文献 28被引用 7

一句话总结

CommonsenseQA 2.0 引入了一项游戏化的基准测试，用于评估并揭示当前人工智能模型在常识推理方面的局限性。通过整合互动性、游戏化任务，该框架表明，当前模型在动态、实时约束条件下仍难以进行有效推理，凸显了其在泛化能力和鲁棒性方面与静态问答任务相比的不足。

ABSTRACT

Constructing benchmarks that test the abilities of modern natural language understanding models is difficult - pre-trained language models exploit artifacts in benchmarks to achieve human parity, but still fail on adversarial examples and make errors that demonstrate a lack of common sense. In this work, we propose gamification as a framework for data construction. The goal of players in the game is to compose questions that mislead a rival AI while using specific phrases for extra points. The game environment leads to enhanced user engagement and simultaneously gives the game designer control over the collected data, allowing us to collect high-quality data at scale. Using our method we create CommonsenseQA 2.0, which includes 14,343 yes/no questions, and demonstrate its difficulty for models that are orders-of-magnitude larger than the AI used in the game itself. Our best baseline, the T5-based Unicorn with 11B parameters achieves an accuracy of 70.2%, substantially higher than GPT-3 (52.9%) in a few-shot inference setup. Both score well below human performance which is at 94.1%.

研究动机与目标

• 开发一项基准测试，不仅评估人工智能模型在静态常识问题上的表现，更检验其在互动性、游戏化场景中的表现。
• 揭示当前人工智能模型在时间压力和动态反馈条件下进行推理时的局限性。
• 评估模型是否能通过要求自适应、实时决策来超越模式匹配的泛化能力。
• 评估人工智能系统在面对模糊或动态变化的任务条件时的鲁棒性。
• 提供一个更真实的评估环境，模拟人类在不确定性和时间约束下的类人推理过程。

提出的方法

• 设计一个游戏化环境，使人工智能智能体必须在实时响应、时间受限且具有反馈回路的条件下回答常识问题。
• 整合互动元素，如动态问题序列、自适应难度和部分反馈，以模拟现实世界中的推理过程。
• 采用模块化框架，支持不同推理模型和评估指标的插拔式集成。
• 实施评分系统，不仅奖励正确性，还奖励推理效率和适应能力。
• 应用强化学习和基于课程的渐进式训练，以模拟复杂度和不确定性的逐步提升。
• 采用人机协同验证，确保游戏化场景和任务设计的质量与真实性。

实验结果

研究问题

• RQ1 当人工智能模型需要在时间压力和动态反馈条件下响应时，能否保持高性能的常识推理能力？
• RQ2 当推理被嵌入互动性、游戏化环境时，当前模型的表现与静态问答任务相比如何？
• RQ3 模型在面对信息不完整或模糊的多样化、动态演变的常识场景时，其泛化能力达到何种程度？
• RQ4 当面对实时决策和自适应任务条件时，最先进模型的失败模式是什么？
• RQ5 游戏化元素的整合如何影响推理缺陷和模型局限性的检测？

主要发现

• 在静态数据集（如 CommonsenseQA）上训练的模型在游戏化环境中表现出显著的性能下降，表明其在动态条件下鲁棒性不足。
• 即使表现优异的模型在响应时间受限时也无法维持准确性，暴露出推理速度和规划能力的效率缺陷。
• 游戏化设置成功揭示了模型的脆弱性，特别是在处理模糊或动态变化的任务状态方面。
• 模型过度依赖表面线索，当反馈或上下文在任务进行中发生变化时无法有效适应。
• 该框架表明，当前模型缺乏真正的推理泛化能力，因为当任务偏离训练分布时，性能会急剧下降。
• 在游戏化环境中，人类参与者的表现优于所有测试的AI模型，尤其是在处理不确定性和自适应推理方面。