[논문 리뷰] A Pilot Evaluation of ChatGPT and DALL-E 2 on Decision Making and Spatial Reasoning

Zhisheng Tang, Mayank Kejriwal|arXiv (Cornell University)|2023. 02. 15.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 예비 연구는 비적대적이고 중립적인 프롬프트를 사용하여 챗GPT와 DALL-E 2의 의사결정 합리성과 공간 인지 능력을 평가한다. DALL-E 2는 공간 인지 프롬프트마다 최소한 하나의 정확한 이미지를 생성했지만, 물체 참조를 이해하고도 자주 잘못된 출력을 내보내는 경향이 있었다. 챗GPT는 합리성에 일관성이 없었으며, 복잡한 문제에서 올바른 추론을 했음에도 불구하고 베른하이머-모르겐스터의 공리계를 위반하는 경우가 많았다.

ABSTRACT

We conduct a pilot study selectively evaluating the cognitive abilities (decision making and spatial reasoning) of two recently released generative transformer models, ChatGPT and DALL-E 2. Input prompts were constructed following neutral a priori guidelines, rather than adversarial intent. Post hoc qualitative analysis of the outputs shows that DALL-E 2 is able to generate at least one correct image for each spatial reasoning prompt, but most images generated are incorrect (even though the model seems to have a clear understanding of the objects mentioned in the prompt). Similarly, in evaluating ChatGPT on the rationality axioms developed under the classical Von Neumann-Morgenstern utility theorem, we find that, although it demonstrates some level of rational decision-making, many of its decisions violate at least one of the axioms even under reasonable constructions of preferences, bets, and decision-making prompts. ChatGPT's outputs on such problems generally tended to be unpredictable: even as it made irrational decisions (or employed an incorrect reasoning process) for some simpler decision-making problems, it was able to draw correct conclusions for more complex bet structures. We briefly comment on the nuances and challenges involved in scaling up such a 'cognitive' evaluation or conducting it with a closed set of answer keys ('ground truth'), given that these models are inherently generative and open-ended in responding to prompts.

연구 동기 및 목표

• 생성형 인공지능 모델인 챗GPT와 DALL-E 2의 의사결정 및 공간 인지 능력에 대한 인지 능력을 평가하기 위해.
• 이러한 모델들이 베른하이머-모르겐스터 기대효용 이론 프레임워크 하에서 합리적 의사결정 원칙을 따르는지 평가하기 위해.
• 기술풍 프롬프트를 사용하여 공간 인지 과제에서 생성형 출력의 신뢰성과 일관성을 검토하기 위해.
• 이러한 모델의 개방적이고 생성적인 성격으로 인해 인지 평가를 확장할 때 발생하는 과제를 탐색하기 위해.

제안 방법

• 편향이나 속임수의 의도 없이 의사결정과 공간 인지 능력을 평가하기 위해 중립적이고 적대적이지 않은 프롬프트를 구성하였다.
• 챗GPT의 의사결정 출력을 평가하기 위해 베른하이머-모르겐스터 합리성 공리계—완전성, 전이성, 독립성, 연속성—를 기준으로 삼았다.
• DALL-E 2의 공간 구성에 대한 정확한 시각적 표현 능력을 평가하기 위해 기술적이고 물체 수준의 프롬프트를 사용하였다.
• 모델 출력의 정확성, 일관성, 의도된 추론 또는 시각적 구조와의 일치 여부를 평가하기 위해 사후 질적 분석을 수행하였다.
• 모델의 출력이 생성적이고 개방적이라는 성격으로 인해 사전에 정의된 정답 키(‘정답’)를 회피하였다.
• 단순한 문제에서 복잡한 의사결정 및 공간 인지 문제에 이르기까지 다양한 복잡도 수준에서 두 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 DALL-E 2는 공간 관계에 대한 오해가 있을 수 있음에도 불구하고, 공간 인지 프롬프트에 대해 정확한 시각적 표현을 얼마나 잘 생성하는가?
• RQ2 챗GPT는 다양한 의사결정 시나리오에서 베른하이머-모르겐스터 기대효용 이론의 합리성 공리에 얼마나 일관되게 따르는가?
• RQ3 왜 일부 챗GPT의 출력은 복잡한 배팅 문제에서는 올바른 결론을 내렸지만, 더 단순한 문제에서는 비합리적인 추론을 보였는가?
• RQ4 이러한 모델의 개방적이고 비결정적인 출력 패턴으로 인해 인지 평가를 확장할 때 발생하는 과제는 무엇인가?
• RQ5 고정된 '정답'이 없을 경우, 생성형 인공지능을 인지 과제에서 평가할 때 신뢰성과 타당성에 어떤 영향을 미치는가?

주요 결과

• DALL-E 2는 각 공간 인지 프롬프트마다 최소한 하나의 정확한 이미지를 생성하여 물체 배치와 공간 관계에 대한 기능적 이해를 보였다.
• 그럼에도 불구하고 DALL-E 2가 생성한 대부분의 이미지는 잘못되었으며, 물체는 정확하게 식별되었음에도 불구하고 공간 구성에 대한 자주 오해가 있었음을 시사했다.
• 챗GPT는 베른하이머-모르겐스터 합리성 공리에 일관되지 않게 따르며, 많은 의사결정 시나리오에서 적어도 하나의 공리를 위반했다.
• 모델의 추론은 예측 불가능했으며, 단순한 문제에서는 비합리적인 결정을 내렸지만, 더 복잡한 배팅 구조에서는 올바른 결론을 내렸다.
• 챗GPT의 출력은 올바른 답에 도달했음에도 불구하고 잘못된 추론 과정을 사용하는 경향이 있었으며, 이는 일관된 내부 논리의 부재를 시사했다.
• 본 연구는 대규모 언어 모델와 디퓨전 모델의 본질적인 생성적이고 개방적인 성격으로 인해 인지 평가를 확장하는 데 상당한 과제가 있음을 강조한다.