[논문 리뷰] Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs

Shrivats Agrawal|arXiv (Cornell University)|2023. 03. 22.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 연구는 보편적인 도메인에 관계없이 추론 능력을 평가하기 위해 정제된 데이터셋과 자연어 프롬프트를 사용하여 대응, 공간, 도덕적 추론 과제에서 대규모 언어 모델(Large Language Models, LLMs)의 능력을 평가한다. 결과적으로 대응 및 도덕적 추론에서는 뛰어난 성능을 보였지만, 공간적 추론에서는 심각한 어려움을 겪었으며, 이는 LLMs가 모든 종류의 추론 유형에서 일관되게 숙련되어 있지 않음을 시사한다.

ABSTRACT

The potential of large language models (LLMs) to reason like humans has been a highly contested topic in Machine Learning communities. However, the reasoning abilities of humans are multifaceted and can be seen in various forms, including analogical, spatial and moral reasoning, among others. This fact raises the question whether LLMs can perform equally well across all these different domains. This research work aims to investigate the performance of LLMs on different reasoning tasks by conducting experiments that directly use or draw inspirations from existing datasets on analogical and spatial reasoning. Additionally, to evaluate the ability of LLMs to reason like human, their performance is evaluted on more open-ended, natural language questions. My findings indicate that LLMs excel at analogical and moral reasoning, yet struggle to perform as proficiently on spatial reasoning tasks. I believe these experiments are crucial for informing the future development of LLMs, particularly in contexts that require diverse reasoning proficiencies. By shedding light on the reasoning abilities of LLMs, this study aims to push forward our understanding of how they can better emulate the cognitive abilities of humans.

연구 동기 및 목표

• LLMs가 대응, 공간, 도덕적 추론과 같은 다양한 추론 도메인에서 동일하게 잘 수행할 수 있는지 조사하기 위해.
• 구조화된 데이터셋과 개방형, 자연어 질문을 모두 평가하여 인간과 유사한 추론 능력을 평가하기 위해.
• LLM의 추론 능력에서의 강점과 약점을 특정하여 향후 모델 개발과 실생활 적용을 안내하기 위해.
• SpartQA를 영감으로 삼아 통제된 공간적 추론 데이터셋을 구축하여 LLM의 체계적 평가를 위해.
• GPT-3 davinci-003과 ChatGPT와 같은 다양한 LLM이 닫힌 책 형식과 대화 형식을 통해 추론 과제에서 어떻게 성과를 내는지 비교하기 위해.

제안 방법

• 200개의 클로즈 스타일 질문을 포함한 통제된 대응 추론 벤치마크를 만들기 위해 어휘적 의미론에 중점을 둔 BATS 데이터셋의 일부를 사용하였다.
• 물체 배치의 문장 기반 기술을 바탕으로 내부적으로 제작한 공간적 추론 데이터셋을 구축하였으며, 진술의 타당성 작업으로서 참/거짓 예측 형식으로 구성하였다.
• GPT-3 davinci-003을 사용해 닫힌 책, 통제된 평가를 수행하고, ChatGPT를 사용해 개방형, 대화식 추론 과제를 수행하였다.
• 자유형 자연어 질문을 수집하고 평가하여 대응 및 도덕적 추론 능력의 정성적 분석을 수행하였다.
• 닫힌-ended 과제에서는 정확한 일치를, 개방형 프롬프트에서는 정성적 평가를 적용하여 모델의 응답을 평가하였다.
• 모든 과제에 동일한 프롬프트 형식을 적용하여 각 과제를 명확한 입력-출력 기대를 가진 추론 과제로 프레임화하였다.

Figure 1: Spatial Reasoning: Visualization of Controlled Dataset Example

실험 결과

연구 질문

• RQ1 LLMs는 대응, 공간, 도덕적 추론과 같은 다양한 추론 도메인 간에 추론 능력을 일반화할 수 있는가?
• RQ2 LLMs는 구조화된 닫힌-ended 추론 과제에서 개방형, 대화식 추론 프롬프트에 비해 어떻게 성과를 내는가?
• RQ3 LLMs는 대응 및 도덕적 추론에서 인간과 유사한 추론 능력을 얼마나 잘 보여주며, 어디서 부족함을 드러내는가?
• RQ4 현재 LLM의 공간적 추론 능력에는 어떤 한계가 있으며, 특히 순수 텍스트 입력에 의존할 경우 어떤 문제가 발생하는가?
• RQ5 다양한 추론 유형 간에 추론 숙련도에 격차가 존재하는가? 만약 그렇다면, 이를 설명할 수 있는 요인들은 무엇인가?

주요 결과

• LLMs는 BATS 데이터셋의 어휘적 의미론 부분에서 매우 높은 정확도로 대응 추론에서 뛰어난 성능을 보였다.
• LLMs는 개방형 자연어 질문, 예를 들어 복잡한 개념을 비유를 통해 설명하는 데서도 일관되고 논리적인 추론을 보였다.
• LLMs는 공간적 추론 과제에서 심각한 어려움을 겪었으며, 특히 텍스트 기반 기술에 기반한 물체 간 관계를 정확히 예측하지 못하는 통제된 데이터셋에서 두드러졌다.
• 대응/도덕적 추론과 공간적 추론 간의 성과 격차는 강력한 언어 일반화 능력에도 불구하고 LLM이 공간 이해력이 빈약하다는 것을 시사한다.
• 도덕적 추론 과제에서는 LLM이 윤리적 고려사항을 반영한 세밀하고 맥락 의식적인 응답을 제공했지만, AI 성격상 개인적 입장을 취하는 것을 피했다.
• 도덕적 딜레마에 대한 정성적 응답은 LLM이 복잡한 윤리적 상충관계를 분석할 수 있음을 보여주었지만, 중립성과 개인적 가치의 부재로 인해 제한을 받았다.

Figure 2: Spatial Reasoning: Visualization of the layout of house described via textual description