[论文解读] The MacGyver Test - A Framework for Evaluating Machine Resourcefulness and Creative Problem Solving

Vasanth Sarathy, Matthias Scheutz|arXiv (Cornell University)|Apr 26, 2017

Computability, Logic, AI Algorithms参考文献 9被引用 8

一句话总结

本文提出了麦克吉弗测试（MT），一种用于评估开放世界环境中机器机智与创造性解决问题能力的正式框架。通过将现实世界问题建模为类似麦克吉弗的问题（MGPs），该框架利用柯尔莫哥洛夫复杂度与所罗门诺夫归纳法，衡量智能体在有限工具与知识条件下生成、执行并改进新颖、机智解决方案的能力——为评估实际智能提供了一种数学上严谨的替代方案，以取代图灵测试。

ABSTRACT

Current measures of machine intelligence are either difficult to evaluate or lack the ability to test a robot's problem-solving capacity in open worlds. We propose a novel evaluation framework based on the formal notion of MacGyver Test which provides a practical way for assessing the resilience and resourcefulness of artificial agents.

研究动机与目标

• 解决开放世界场景中机器机智与创造力缺乏实际、正式评估方法的问题。
• 提出一种测试框架，以捕捉具身智能体在问题解决中的人类式韧性与创造力。
• 提供一种形式化、数学基础坚实的图灵测试替代方案，强调实际问题解决行为。
• 通过定义可度量、可扩展的问题（MGPs），为AI研究提供测试开放性、自适应智能的指导。
• 通过基于复杂性理论与自动规划的框架，形式化实际智能的概念。

提出的方法

• 麦克吉弗测试（MT）被定义为一种正式评估框架，用于衡量智能体在资源有限条件下解决开放世界问题的能力。
• 类似麦克吉弗的问题（MGPs）被建模为具有初始状态、目标以及一组可用工具与环境约束的结构化问题。
• 提出性能度量 $ R_{\rho} $ 以量化机智与创造力，其值与解决方案的优雅程度及复杂度降低程度成正比。
• 使用所罗门诺夫先验计算预期进展：$ M(\rho) = \sum_{\mu \in U} 2^{-K(\mu)} \cdot R_{\mu} $，其中 $ K(\mu) $ 为度量 $ \mu $ 的柯尔莫哥洛夫复杂度。
• 通过条件概率预测未来表现：$ M(\omega^{+} \mid \omega) = \frac{M(\omega^{+} \smallfrown \omega^{+})}{M(\omega)} $，偏好更简单的延续路径。
• 该框架建立在集合论、自动规划与可计算性理论基础上，支持对问题难度与智能体行为的正式分析。

实验结果

研究问题

• RQ1 能否开发一种正式框架，基于开放世界环境中机器的机智与创造性问题解决能力来评估其智能？
• RQ2 如何将‘类似麦克吉弗’的问题解决概念形式化为可测试的问题类别（MGPs）？
• RQ3 可使用哪些数学工具来度量并比较智能体在解决新颖、非平凡问题时的创造力与机智？
• RQ4 如何利用柯尔莫哥洛夫复杂度等复杂性理论原则，正式量化智能体的预期进展？
• RQ5 麦克吉弗测试在多大程度上可作为可扩展、有原则的基准，用于衡量AI进展，超越语言或任务特定的评估？

主要发现

• 麦克吉弗测试为评估开放世界问题解决中机器的机智与创造力提供了一个正式且数学上严谨的框架。
• 该框架基于对类似麦克吉弗的问题（MGPs）的形式化，这些问题建模了需要创造性使用有限工具与环境线索的真实世界挑战。
• 预期进展通过在资源使用度量的所罗门诺夫先验上计算，偏好更简单、更优雅的解决方案。
• 该框架通过偏好柯尔莫哥洛夫复杂度更低的策略延续路径，实现对智能体未来行为的预测，与奥卡姆剃刀原则一致。
• 尽管柯尔莫哥洛夫复杂度不可计算，但该框架允许使用可计算的近似方法，使其在实践中具有可行性。
• MT被定位为图灵测试与任务型挑战的正式、可扩展的替代方案，聚焦于自主智能体的实际智能与韧性。