[논문 리뷰] Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks

Katherine M. Collins, Catherine Wong외 3명|arXiv (Cornell University)|2022. 05. 11.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 분포 외 추론을 평가하기 위한 새로운 벤치마크를 소개하며, 인간이 계획 수립 및 설명 생성 과제에서 LLMs보다 뚜렷하게 뛰어나다는 것을 드러낸다. 또한 LLMs를 사용해 자연어를 구조적 기호 프로그램으로 해석하고, 이를 기반으로 기호 계획 도구가 해결하는 하이브리드 Parse-and-Solve 모델을 제안한다. 이 모델은 순수한 LLMs보다 도메인 외 문제에 대해 더 뛰어난 강건성과 성능을 보이며, 도전적인 분포 외 문제에서 유의미한 성과를 보인다.

ABSTRACT

Human language offers a powerful window into our thoughts -- we tell stories, give explanations, and express our beliefs and goals through words. Abundant evidence also suggests that language plays a developmental role in structuring our learning. Here, we ask: how much of human-like thinking can be captured by learning statistical patterns in language alone? We first contribute a new challenge benchmark for comparing humans and distributional large language models (LLMs). Our benchmark contains two problem-solving domains (planning and explanation generation) and is designed to require generalization to new, out-of-distribution problems expressed in language. We find that humans are far more robust than LLMs on this benchmark. Next, we propose a hybrid Parse-and-Solve model, which augments distributional LLMs with a structured symbolic reasoning module. We find that this model shows more robust adaptation to out-of-distribution planning problems, demonstrating the promise of hybrid AI models for more human-like reasoning.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 인간과 비교해 분포 외 추론 과제로의 일반화 능력이 얼마나 잘 되는지 평가하는 것.
• 패턴 검색을 넘어서서 창의적이고 융통성 있는 언어 기반 추론을 측정할 수 있는 벤치마크를 개발하는 것.
• 분포 기반 언어 모델링과 기호 추론을 융합한 하이브리드 모델을 제안하고, 강건성을 향상시키기 위해 평가하는 것.
• 구조적 기호 추론이 새로운 제약 조건이 있는 추론 문제에서 LLM 성능을 향상시킬 수 있는지 탐구하는 것.
• 언어 모델링만으로 인간 추론의 기본적인 인지 계산 구조를 얼마나 잘 포괄하는지의 정도를 탐색하는 것.

제안 방법

• 벤치마크는 공통적인 언어 패턴에 의존하는 것을 막기 위해 반복적인 제약 조건 생성 기반의 패러다임을 사용하여, 새로운 분포 외 추론 프롬프트를 생성한다.
• 인간의 응답은 세 가지 조건에서 수집된다: 기본 조건과 점차 제약이 강화된 두 가지 조건으로, 창의적이고 비정형적인 응답을 이끌어내기 위한 것이다.
• Parse-and-Solve(P+S) 모델이 제안되며, 여기서 LLM은 자연어 프롬프트를 합성 문법을 사용해 형식적이고 실행 가능한 프로그램으로 매핑한다.
• 기호 계획 도구는 제한된 동작 공간에서 탐색 기반 계획 도구를 사용해 이러한 프로그램을 실행하여 유효한 계획을 생성한다.
• 성능 평가에서는 다양한 수준의 제약 조건 하에서 계획 정확도와 강건성을 측정하며, 순수한 LLM 기반 계획 도구와의 비교를 통해 평가한다.
• 통계 모델링(LMER)을 사용해, 다양한 제약 조건 조건에서 모델 간 성능 및 강건성의 차이를 비교한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 인간과 비교해 분포 외 추론 과제로의 일반화 능력이 어느 정도 이루어지는가?
• RQ2 반복적인 제약 조건 생성이 공통적인 언어 패턴을 피하는 새로운 창의적 추론 응답을 효과적으로 이끌어낼 수 있는가?
• RQ3 언어를 구조적 기호 프로그램으로 매핑하는 하이브리드 모델이 도전적인 제약 조건이 있는 추론 문제에서 강건성을 향상시킬 수 있는가?
• RQ4 LLM이 해석한 프로그램을 기반으로 기능하는 기호 계획 도구의 성능은, 분포 외 환경에서 종단 간 LLM 계획 도구와 비교해 어떻게 다른가?
• RQ5 분포 기반 언어 모델링만으로는 인간의 추론 구조를 충분히 포괄할 수 있는가?

주요 결과

• 인간은 특히 가장 제약이 강한 조건에서 LLMs보다 뚜렷하게 뛰어나며, 이는 LLMs가 분포 외 추론에서 어려움을 겪고 있음을 시사한다.
• LLM-as-planner 기반 모델은 가장 제약이 강한 조건에서 문제를 하나도 해결하지 못했으며, 이는 새로운 제약 조건 하에서의 취약성을 보여준다.
• Parse-and-Solve 모델은 순수한 LLM-as-planner 기반 모델보다 통계적으로 유의미한 차이(p < 0.001)로 전체 성능에서 뛰어나다.
• 두 모델 모두 조건이 강화됨에 따라 유사한 성능 저하를 보이며, 이는 해석 모듈 자체도 매우 복합적이거나 새로운 목표에 대해 일반화하기 어려운 것으로 보인다.
• 하이브리드 모델은 제약 조건에 대해 더 뛰어난 강건성을 보이며, 이는 기호 추론 인터페이스가 새로운 추론 시나리오에 대한 적응 능력을 향상시킨다는 것을 시사한다.
• 결과는 분포 기반 언어 모델링만으로는 인간의 추론 구조를 충분히 포괄할 수 없으며, 특히 새로운 또는 복잡한 맥락에서 그러한 한계가 뚜렷하다는 것을 시사한다.