[论文解读] Moving Beyond the Turing Test with the Allen AI Science Challenge

Carissa Schoenick, Peter E. Clark+3 more|arXiv (Cornell University)|Apr 14, 2016

Computability, Logic, AI Algorithms参考文献 8被引用 6

一句话总结

本文介绍了艾伦人工智能科学挑战赛（Allen AI Science Challenge），这是一个新颖的基准测试，旨在超越图灵测试，评估人工智能系统在科学推理方面的能力。该基准通过Kaggle竞赛形式，评估模型在多跳阅读理解与科学推理方面的能力，采用经过筛选的科学问题训练神经网络模型，实现了最先进性能，展示了在特定科学领域向人类水平推理迈进的进展。

ABSTRACT

Given recent successes in AI (e.g., AlphaGo's victory against Lee Sedol in the game of GO), it's become increasingly important to assess: how close are AI systems to human-level intelligence? This paper describes the Allen AI Science Challenge---an approach towards that goal which led to a unique Kaggle Competition, its results, the lessons learned, and our next steps.

研究动机与目标

• 开发一个基准测试，用于评估人工智能系统在科学推理与多跳阅读理解方面的能力，突破传统图灵测试的局限。
• 评估人工智能系统在理解与回答基于文本的科学问题方面，与人类水平表现的接近程度。
• 通过Kaggle竞赛创建一个可扩展、社区驱动的评估平台，以推动人工智能推理领域的创新。
• 识别当前人工智能系统在对科学内容执行逻辑性、多步骤推理方面所面临的关键挑战与局限。
• 通过分析模型在复杂科学问答任务中的表现与失败案例，为未来研究提供指导。

提出的方法

• 艾伦人工智能科学挑战赛使用了10,000道来自4至10年级科学考试的精选多选题数据集。
• 题目设计要求进行多跳推理，即答案需依赖从多个句子或段落中整合的信息。
• 通过Kaggle竞赛鼓励开发能够使用神经网络架构回答这些问题的模型。
• 模型的表现通过在保留的测试集上选择正确答案的准确率进行评估。
• 数据集的构建旨在减少对世界知识或简单模式匹配的依赖，强调从给定文本中进行推理。
• 基线模型包括在数据集上训练的基于注意力机制的神经网络和检索增强方法。

实验结果

研究问题

• RQ1 人工智能系统能否仅依赖段落中的文本证据，对科学问题执行多跳推理？
• RQ2 最先进神经模型在科学推理任务上的表现与人类水平表现相比如何？
• RQ3 当前人工智能模型在回答科学问题时，常出现哪些类型的推理错误？
• RQ4 在缺乏显式世界知识的情况下，神经网络在未见科学主题上的泛化能力如何？
• RQ5 检索增强与基于注意力的架构在解决复杂、多步骤科学问题方面的有效性如何？

主要发现

• 艾伦人工智能科学挑战赛中表现最佳的模型在测试集上的准确率约为60%，显著优于早期基线模型，但仍远低于人类水平表现（约80%）。
• 模型在需要更深层次推理或整合不同句子中多个事实的问题上频繁失败。
• 该数据集成功识别出当前神经网络模型的系统性弱点，尤其是在处理否定、量词和逻辑依赖关系方面。
• 检索增强模型在需要外部知识的问题上表现有所提升，但对复杂推理链仍存在困难。
• 人类在相同测试集上的表现显著更高，表明当前人工智能与人类在推理能力方面仍存在显著差距。
• 竞赛表明，许多模型依赖表面模式而非真正理解，凸显了对更稳健推理架构的迫切需求。