[논문 리뷰] Can language models handle recursively nested grammatical structures? A case study on comparing models and humans

Andrew K. Lampinen|arXiv (Cornell University)|2022. 10. 27.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 이전 연구들이 대규모 언어 모델(Large Language Models, LLMs)이 반복적으로 중첩된 문법적 구조를 처리하지 못한다고 주장한 바를 도전하며, 간단한 프롬프팅을 사용해 인간과 유사한 조건에서 평가할 경우 LLMs가 동일한 작업에서 인간을 능가함을 보여준다. 이는 더 깊은 중첩 수준으로의 일반화 능력까지 포함된다. 이 연구는 이전 비교가 모델의 제로샷 평가와 훈련된 지시를 받은 인간을 대비시켜 편향되어 있었음을 드러낸다.

ABSTRACT

How should we compare the capabilities of language models (LMs) and humans? I draw inspiration from comparative psychology to highlight some challenges. In particular, I consider a case study: processing of recursively nested grammatical structures. Prior work suggests that LMs cannot handle these structures as reliably as humans can. However, the humans were provided with instructions and training, while the LMs were evaluated zero-shot. I therefore match the evaluation more closely. Providing large LMs with a simple prompt -- substantially less content than the human training -- allows the LMs to consistently outperform the human results, and even to extrapolate to more deeply nested conditions than were tested with humans. Further, reanalyzing the prior human data suggests that the humans may not perform above chance at the difficult structures initially. Thus, large LMs may indeed process recursively nested grammatical structures as reliably as humans. This case study highlights how discrepancies in the evaluation can confound comparisons of language models and humans. I therefore reflect on the broader challenge of comparing human and model capabilities, and highlight an important difference between evaluating cognitive models and foundation models.

연구 동기 및 목표

• 언어 모델가 반복적으로 중첩된 문법적 구조에서 인간보다 열등하다는 주장의 재평가.
• 이전 연구에서 인간과 모델의 평가 방식에 나타나는 방법론적 차이를 해결.
• 프롬프팅이 복잡한 문법적 의존성 처리에서 LLM 성능을 크게 향상시킬 수 있는지 테스트.
• 인간과 모델 능력을 비교할 때 공정하고 비교 가능한 평가 프로토콜의 중요성을 부각.
• 내재된 인간의 능력에 대한 가정이 아닌 실제 성능 기반의 더 엄격하고 데이터 기반의 인간-모델 비교를 주장.

제안 방법

• 중앙에 삽입된 문장에서 주어-동사 일치 의존성을 포함한 반복적 중첩 문장을 대상으로, 대규모 언어 모델(GPT-2 XL 등)에 대한 새로운 제로샷 평가 수행.
• 성능 향상을 위해 더 단순한 중첩 구조 예시를 몇 개 제공하는 프롬프팅을 사용.
• Lakretz 등(2022)의 이전 인간 데이터를 재분석하여, 어려운 조건에서 인간의 성능이 실제로 우연의 초과 수준을 넘는지 평가.
• 이전 연구와 동일한 작업 프레임워크를 사용했지만, 인간 실험 파라다임에 더 가깝게 평가 조건을 조정.
• 증가하는 중첩 깊이에 따라 모델 성능을 평가하였으며, 인간이 테스트한 것보다 더 깊은 수준까지 포함.
• 이성 추적 프롬프팅과 지시 튜닝 원칙을 적용하여 모델 행동을 인간과 유사한 작업 이해로 정렬.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 진정으로 반복적으로 중첩된 문법적 구조를 처리하지 못하는가, 아니면 평가 방법 자체가 편향되어 있는가?
• RQ2 간단한 프롬프팅이 복잡한 문법적 의존성 처리에서 LLM 성능을 크게 향상시킬 수 있는가?
• RQ3 특히 깊은 중첩 조건에서 재귀적 문법 작업에서 인간의 성능이 신뢰성 있게 우연의 초과 수준을 넘는가?
• RQ4 훈련, 지시, 동기 부여 등의 평가 파라다임의 차이가 인간-모델 비교를 얼마나 혼란스럽게 하는가?
• RQ5 인간과 모델 능력을 타당하게 비교할 수 있는 공정한 평가 프로토콜을 어떻게 설계할 수 있는가?

주요 결과

• 간단한 예시를 프롬프팅으로 제공받은 대규모 언어 모델은 반복적으로 중첩된 주어-동사 일치 작업에서 인간 참가자들을 일관되게 능가했다.
• 모델는 인간이 테스트한 것보다 더 깊은 중첩 수준(예: 3개 이상의 레이어)으로 일반화하여, 훈련 분포를 초월한 외삽 능력을 보였다.
• 이전 인간 데이터의 재분석 결과, 가장 어려운 조건에서의 성능가 우연의 초과 수준을 신뢰성 있게 넘지 못하는 것으로 나타나, 이 분야에서 인간의 승리 가정을 도전할 수 있었다.
• 이전 연구에서 모델와 인간 간의 성능 격차는 주로 평가의 불균형 때문이었으며, 인간은 광범위한 훈련과 지시를 받은 반면, 모델는 제로샷 평가로 평가되었다.
• 최소한의 컨텍스트(예: 몇 개의 예시)를 사용한 프롬프팅이 모델 정확도를 크게 향상시켜, 파인튜닝 없이도 작업 이해를 크게 향상시킬 수 있음을 시사했다.
• 이 연구는 평가의 방법론적 공정성이 핵심적이라는 점을 강조한다: 조건이 동일할 경우, LLMs는 문법 처리 작업에서 인간과 동등하거나 그 이상의 성능을 낼 수 있다.