[论文解读] Evaluating Understanding on Conceptual Abstraction Benchmarks

Victor Vikram Odouard, Melanie Mitchell|arXiv (Cornell University)|Jun 28, 2022

Semantic Web and Ontologies被引用 7

一句话总结

本文提出了一种基于概念的评估框架，用于衡量人工智能系统对抽象概念的真实理解，超越标准独立同分布（IID）测试集上的准确率。通过在RAVEN和ARC基准中创建核心概念（如'top/bottom'和'boundary'）的多样化实例，该方法揭示了即使在原始测试中表现良好，ARC-Kaggle2等模型在概念变化下仍表现不佳，暴露了其在真正抽象化和泛化能力上的不足。

ABSTRACT

A long-held objective in AI is to build systems that understand concepts in a humanlike way. Setting aside the difficulty of building such a system, even trying to evaluate one is a challenge, due to present-day AI's relative opacity and its proclivity for finding shortcut solutions. This is exacerbated by humans' tendency to anthropomorphize, assuming that a system that can recognize one instance of a concept must also understand other instances, as a human would. In this paper, we argue that understanding a concept requires the ability to use it in varied contexts. Accordingly, we propose systematic evaluations centered around concepts, by probing a system's ability to use a given concept in many different instantiations. We present case studies of such an evaluations on two domains -- RAVEN (inspired by Raven's Progressive Matrices) and the Abstraction and Reasoning Corpus (ARC) -- that have been used to develop and assess abstraction abilities in AI systems. Our concept-based approach to evaluation reveals information about AI systems that conventional test sets would have left hidden.

研究动机与目标

• 为解决评估人工智能系统是否真正理解抽象概念，而非依赖表面的模式匹配这一挑战。
• 揭示标准独立同分布（IID）测试集在衡量人工智能系统泛化能力和概念理解方面的局限性。
• 开发一种系统化方法，通过在抽象基准中使用核心概念的多样化实例来探测人工智能模型。
• 证明在标准基准上取得高准确率，并不意味着具备稳健的概念理解能力，尤其是在概念被重新表述或重新语境化时。
• 为未来评估套件奠定基础，系统性地测试多个领域和概念下的概念理解能力。

提出的方法

• 通过识别现有基准（如RAVEN和ARC）中出现的关键抽象概念（例如'top/bottom'、'boundary'）来设计基于概念的评估集。
• 通过改变空间关系、对象属性或变换规则，生成每个概念的多种变体，同时保持核心概念结构不变。
• 创建新的测试问题，以探测相同的基本概念但处于新颖情境中，确保其不在训练分布之内。
• 使用与原始基准相同的评估协议，对预训练人工智能模型（例如ARC-Kaggle2）在这些概念变体上进行评估。
• 比较模型在原始测试集与特定概念变体上的表现，以评估其概念稳健性。
• 使用人工标注规则，确保变体在语义上具有意义且概念上一致。

实验结果

研究问题

• RQ1 当同一概念以新情境呈现时，人工智能模型在抽象概念理解上的泛化程度如何？
• RQ2 在抽象基准中，概念变体上的表现与标准独立同分布（IID）测试集上的表现相比如何？
• RQ3 基于概念的评估能否揭示标准基准分数无法反映的人工智能系统隐藏弱点？
• RQ4 在标准基准上表现良好的模型是否具备深层次的概念理解，还是依赖于数据集特定的捷径？
• RQ5 如何系统性地设计概念变体，以有效探测人工智能系统抽象能力的稳健性？

主要发现

• ARC-Kaggle2在原始ARC测试集上的准确率为19%，表明其在标准基准上表现中等。
• 该模型在'top/bottom'概念变体上的准确率提升至29%，表明其在该特定领域对上下文变化具备一定程度的稳健性。
• 在'boundary'概念变体上的表现显著下降至仅8%，暴露出其在泛化这一抽象空间概念时存在关键性失败。
• 尽管原始测试集表现一致，但不同概念变体间的表现差异表明，标准基准可能掩盖了基本的概念性局限。
• 结果表明，在独立同分布（IID）测试集上的高准确率并不能预测模型在概念相似但结构不同的问题上的稳健性。
• 本研究表明，基于概念的评估能够揭示传统评估协议无法发现的模型弱点，尤其在抽象和推理任务中。