[论文解读] MacGyver: Are Large Language Models Creative Problem Solvers?

Yufei Tian, Abhilasha Ravichander+7 more|arXiv (Cornell University)|Nov 16, 2023

Topic Modeling被引用 4

一句话总结

该论文提出了MacGyver，一个包含1,683个真实世界问题的新基准，旨在测试在功能固着（functional fixedness）情境下的创造性问题解决能力——即要求对象以非传统方式使用。该研究评估了人类与大语言模型（如GPT-4）在生成物理上可行、非传统解决方案方面的能力，结果表明，尽管大语言模型在物理可行性方面表现不佳且存在过度自信的问题，但通过采用新型提示工程方法（如迭代式分步反思和发散-收敛思维），其性能可得到显著提升。

ABSTRACT

We explore the creative problem-solving capabilities of modern LLMs in a novel constrained setting. To this end, we create MACGYVER, an automatically generated dataset consisting of over 1,600 real-world problems deliberately designed to trigger innovative usage of objects and necessitate out-of-the-box thinking. We then present our collection to both LLMs and humans to compare and contrast their problem-solving abilities. MACGYVER is challenging for both groups, but in unique and complementary ways. For instance, humans excel in tasks they are familiar with but struggle with domain-specific knowledge, leading to a higher variance. In contrast, LLMs, exposed to a variety of specialized knowledge, attempt broader problems but fail by proposing physically-infeasible actions. Finally, we provide a detailed error analysis of LLMs, and demonstrate the potential of enhancing their problem-solving ability with novel prompting techniques such as iterative step-wise reflection and divergent-convergent thinking. This work (1) introduces a fresh arena for intelligent agents focusing on intricate aspects of physical reasoning, planning, and unconventional thinking, which supplements the existing spectrum of machine intelligence; and (2) provides insight into the constrained problem-solving capabilities of both humans and AI.

研究动机与目标

• 为解决当前缺乏大规模、真实世界数据集以评估人类与人工智能在日常情境中创造性问题解决（小创意，Little-C创造力）的不足。
• 探究现代大语言模型（LLMs）是否能够克服功能固着——一种限制对象仅用于其传统用途的认知偏见。
• 比较人类与大语言模型在需要发散思维与收敛思维的非传统问题解决任务中的表现。
• 评估新型提示策略在提升大语言模型在创造性任务中推理能力与物理可行性方面的有效性。
• 探索人类与大语言模型在创造性问题解决中的互补优势，并探讨人机协作提升整体表现的潜力。

提出的方法

• 设计了一套高效、迭代的流程，生成1,683个自然语言问题情境，通过要求非常规工具使用来触发功能固着。
• 通过人工验证收集并确认问题，确保其需要非显而易见的、创造性的物品再利用（例如，将葡萄酒瓶用作擀面杖）。
• 为每个问题锚定至少一个经人工验证的解决方案，以确保正确性与可行性。
• 使用零样本和 few-shot 提示方式，对多种大语言模型（GPT-3.5、GPT-4、PaLM2、Claude2、Llama2）在该基准上进行评估。
• 提出并测试了两种新型提示技术：迭代式分步反思与发散-收敛思维，以增强大语言模型的推理能力。
• 开展详细的错误分析，识别大语言模型常见的失败模式，如提出物理上不可行或低效的行动方案。

Figure 1: Examples of the problems in our MacGyver dataset and the corresponding GPT-4 solutions. Here, (a) and (b) are solvable while (c) is not, yet the LLM fails to identify the unsolvable problem. Pictures, drawn by DALL $\cdot$ E 3, are for illustration purposes only and may not accurately refl

实验结果

研究问题

• RQ1 现代大语言模型在多大程度上能够解决需要克服功能固着和非常规工具使用的现实世界问题？
• RQ2 在需要日常情境中创造性、非传统思维的问题解决任务中，大语言模型与人类的表现如何比较？
• RQ3 大语言模型在涉及物体功能与可行性的物理推理任务中的主要失败模式是什么？
• RQ4 像迭代式分步反思与发散-收敛思维这样的新型提示策略，能否提升大语言模型在创造性问题解决任务中的表现？
• RQ5 人类与大语言模型的问题解决能力在哪些方面具有互补性？人机协作如何提升整体表现？

主要发现

• MacGyver数据集中超过82%的可解问题需要克服功能固着，使其对人类与大语言模型均具有认知挑战性。
• GPT-4在所有大语言模型中表现最佳，正确解决了68.5%的问题，但仍显著低于人类基准水平。
• 大语言模型频繁提出物理上不可行或低效的解决方案，尤其在依赖过度自信推理或虚构物体功能时。
• 人类在表现上具有更高的变异性：在熟悉的问题上表现出色，但在缺乏特定领域知识时表现不佳。
• 所提出的提示技术——迭代式分步反思与发散-收敛思维——显著提升了大语言模型的表现，减少了幻觉现象并提高了方案的可行性。
• 错误分析显示，大语言模型常常无法识别无法解决的问题，即使在不存在可行路径时仍会错误地尝试生成解决方案。

Figure 2: Progressive problem refinement with GPT-4. We carefully design refinement steps that gradually increase a problem’s complexity by adding specific object properties as constraints to veto a previous solution ( i.e., Iteration 2), and adding distracting objects that are (likely) not involved