[논문 리뷰] MacGyver: Are Large Language Models Creative Problem Solvers?

Yufei Tian, Abhilasha Ravichander외 7명|arXiv (Cornell University)|2023. 11. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 기능 고정성(기본 기능 외의 방식으로 물체를 사용해야 하는 상황) 하에서 창의적 문제 해결 능력을 테스트하기 위해 실제 세계의 1,683개 문제로 구성된 새로운 벤치마크인 MacGyver를 소개한다. 이는 인간과 LLM(예: GPT-4)이 물리적으로 타당하고 비정형적인 해결책을 제안할 수 있는 능력을 평가하며, LLM이 물리적 타당성과 과도한 자신감 문제를 겪는 반면, 반복적 단계별 반성 및 발산-수렴 사고와 같은 새로운 프롬프팅 기법을 통해 성능 향상을 이룰 수 있음을 드러낸다.

ABSTRACT

We explore the creative problem-solving capabilities of modern LLMs in a novel constrained setting. To this end, we create MACGYVER, an automatically generated dataset consisting of over 1,600 real-world problems deliberately designed to trigger innovative usage of objects and necessitate out-of-the-box thinking. We then present our collection to both LLMs and humans to compare and contrast their problem-solving abilities. MACGYVER is challenging for both groups, but in unique and complementary ways. For instance, humans excel in tasks they are familiar with but struggle with domain-specific knowledge, leading to a higher variance. In contrast, LLMs, exposed to a variety of specialized knowledge, attempt broader problems but fail by proposing physically-infeasible actions. Finally, we provide a detailed error analysis of LLMs, and demonstrate the potential of enhancing their problem-solving ability with novel prompting techniques such as iterative step-wise reflection and divergent-convergent thinking. This work (1) introduces a fresh arena for intelligent agents focusing on intricate aspects of physical reasoning, planning, and unconventional thinking, which supplements the existing spectrum of machine intelligence; and (2) provides insight into the constrained problem-solving capabilities of both humans and AI.

연구 동기 및 목표

• 인간과 AI에서 일상적인 창의적 문제 해결(Little-C 창의성)을 평가하기 위한 대규모 실세계 데이터셋의 부족을 해결하기 위해.
• 현대적 대규모 언어 모델(LLM)이 기능 고정성—물체를 전통적인 역할 외에 사용하는 것을 제한하는 인지 편향—을 극복할 수 있는지 조사하기 위해.
• 발산적 사고와 수렴적 사고가 요구되는 비표준 문제 해결 과제에서 인간과 LLM의 성능를 비교하기 위해.
• 반복적 단계별 반성 및 발산-수렴 사고와 같은 새로운 프롬프팅 전략이 LLM의 추론 능력과 창의적 과제에서의 물리적 타당성 향상에 얼마나 효과적인지 평가하기 위해.
• 인간과 LLM의 창의적 문제 해결 능력이 상호 보완적인 방식으로 작용하는 방식과 인간-AI 협업이 전체 성능 향상에 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 기능 고정성을 유도하는 비표준 도구 사용이 요구되는 1,683개의 자연어 문제 시나리오를 생성하기 위해 노동 효율성이 높고 반복 가능한 파이프라인을 설계했다.
• 문제의 타당성과 창의성을 확보하기 위해 인간 검증을 통해 문제를 수집하고 검증했다. 예를 들어, 포도주 병을 반죽밀대로 사용하는 것처럼 비표준적인 물체 재사용이 요구되는 문제들을 포함한다.
• 정확성과 타당성을 보장하기 위해 각 문제에 최소한 하나의 인간 검증된 해결책을 부착했다.
• GPT-3.5, GPT-4, PaLM2, Claude2, Llama2 등 다양한 LLM을 사용하여 제로샷 및 피Few샷 프롬프팅을 통해 벤치마크에서 평가했다.
• LLM의 추론 능력을 향상시키기 위해 반복적 단계별 반성 및 발산-수렴 사고와 같은 두 가지 새로운 프롬프팅 기법을 제안하고 테스트했다.
• LLM의 일반적인 실패 원인을 규명하기 위해 세부적인 오류 분석을 수행했으며, 물리적으로 타당하지 않거나 비효율적인 행동을 제안하는 경우가 빈번히 발견되었다.

Figure 1: Examples of the problems in our MacGyver dataset and the corresponding GPT-4 solutions. Here, (a) and (b) are solvable while (c) is not, yet the LLM fails to identify the unsolvable problem. Pictures, drawn by DALL $\cdot$ E 3, are for illustration purposes only and may not accurately refl

실험 결과

연구 질문

• RQ1 현대 LLM은 기능 고정성과 비표준 도구 사용이 요구되는 실제 세계 문제를 어느 정도 해결할 수 있는가?
• RQ2 일상적 맥락에서 창의적이고 비정형적인 사고가 요구되는 문제 해결에서 LLM은 인간과 비교해 어떻게 성과를 내는가?
• RQ3 물체의 기능과 타당성에 관여하는 물리적 추론 과제에서 LLM의 주요 실패 유형은 무엇인가?
• RQ4 반복적 단계별 반성 및 발산-수렴 사고와 같은 새로운 프롬프팅 전략은 LLM의 창의적 문제 해결 과제 성능 향상에 기여하는가?
• RQ5 인간과 LLM의 문제 해결 능력은 어떤 방식으로 상호 보완적인가? 인간-AI 협업은 전체 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• MacGyver 데이터셋에서 해결 가능한 문제의 82% 이상이 기능 고정성을 극복해야 하므로, 인간과 LLM 모두에게 인지적으로 도전적인 과제이다.
• GPT-4는 LLM 중에서 가장 높은 성능을 보였으며, 문제의 68.5%를 정확히 해결했지만, 인간 기준 벤치마크에 비해 여전히 뚜렷이 뒤져 있었다.
• LLM은 과도한 자신감에 기반하거나 잘못된 물체 기능을 유추해 물리적으로 타당하지 않거나 비효율적인 해결책을 자주 제안했다.
• 인간은 성과의 변동성이 더 높았는데, 익숙한 문제에서는 뛰어난 성과를 보였지만, 영역 특화 지식 부족으로 어려움을 겪었다.
• 제안된 프롬프팅 기법인 반복적 단계별 반성 및 발산-수렴 사고는 LLM의 성능을 뚜렷이 향상시켰으며, 환상적 해결책의 비율을 줄이고 해결책의 타당성을 높였다.
• 오류 분석 결과, LLM은 해결할 수 없는 문제를 인식하지 못하는 경향이 있었으며, 물리적으로 가능한 경로가 전혀 없는 상황에서도 잘못된 해결책을 생성하려는 경향을 보였다.

Figure 2: Progressive problem refinement with GPT-4. We carefully design refinement steps that gradually increase a problem’s complexity by adding specific object properties as constraints to veto a previous solution ( i.e., Iteration 2), and adding distracting objects that are (likely) not involved