[논문 리뷰] Position: Key Claims in LLM Research Have a Long Tail of Footnotes

Anna Rogers, Alexandra Sasha Luccioni|arXiv (Cornell University)|2023. 08. 14.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 텍스트 생성 능력, 대규모 미세조정(≥10억 토큰 이상), 전이 학습 적응 가능성이라는 세 가지 기준을 바탕으로 대규모 언어 모델(Large Language Models, LLMs)에 대한 정밀한 정의를 제안한다. 이는 LLM에 대한 일반적인 주장—내구성, 최첨단 성능, 규모 기반 성공, 잠재 능력 등—을 경험적 증거와 사회기술적 분석을 통해 비판적으로 평가하며, 현재 논의에서 체계적인 근거가 부족한 경향을 드러내고 향후 NLP 연구에서 방법론적 엄격함이 필요하다고 주장한다.

ABSTRACT

Much of the recent discourse within the ML community has been centered around Large Language Models (LLMs), their functionality and potential -- yet not only do we not have a working definition of LLMs, but much of this discourse relies on claims and assumptions that are worth re-examining. We contribute a definition of LLMs, critically examine five common claims regarding their properties (including 'emergent properties'), and conclude with suggestions for future research directions and their framing.

연구 동기 및 목표

• NLP 연구 및 실무에서 대규모 언어 모델(LLMs)에 대한 명확하고 실행 가능한 정의가 부족한 문제를 해결하기 위해.
• 내구성, 성능 우월성, 규모 의존성, 잠재 능력 등 LLM 기능에 대한 널리 공유되는 가정을 비판적으로 검토하기 위해.
• LLM에 대한 핵심 주장을 뒷받침하는 경험적 증거의 격차를 규명하고 현재 논의에서의 일관성 없는 점을 드러내기 위해.
• 주장을 경험과 이론에 기반하여, 방법론적 엄격함과 다양성을 강조함으로써 향후 NLP 연구에 대한 틀을 제안하기 위해.
• 정의의 명확성과 경험적 검증을 강조하는 LLM 평가 프레임워크를 제안하기 위해.

제안 방법

• LLM에 대한 세 부분으로 구성된 정의를 제안: (1) 문맥 인식 텍스트 생성, (2) ≥10억 토큰 이상의 미세조정, (3) 전이 학습을 통한 적응 가능성.
• 기존 경험적 연구와 사회기술적 비판을 활용하여 LLM에 대한 주장을 평가하며, 벤치마크, 모델 행동, 구현 환경에서의 데이터를 활용한다.
• 제안된 기준에 따라 다양한 아키텍처(예: BERT, GPT, word2vec)의 모델 행동을 분석하여 이전 모델과의 차이를 구분한다.
• SuperGLUE, 소수 샘플 학습, 사고 체인 프롬프팅, 다국어 전이 작업 등의 결과를 검토하여 규모, 내구성, 잠재 능력에 대한 주장을 평가한다.
• 공식 정의가 없는 용어의 한계를 고려하여 LLM과 유사 개념인 '기초 모델(foundation models)'과 비교 분석한다.
• 제안된 프레임워크를 다중모달 모델(예: GPT-4)과 정제된 모델(예: tinyBERT)에 적용하여 해당 모델들이 기준을 충족하는지 확인한다.

실험 결과

연구 질문

• RQ1 어떤 기준이 LLM으로 분류되기 위해 필수적이고 충분한가?
• RQ2 LLM의 내구성, 성능, 규모 의존성, 잠재 능력에 대한 주장들이 경험적 증거로 얼마나 잘 뒷받침되는가?
• RQ3 제안된 LLM 정의에 따라 BERT나 GPT-3와 같은 모델은 이전 모델(예: word2vec)과 어떻게 다를까?
• RQ4 과학적 엄격성에 영향을 미칠 수 있는 모호한 용어, 예를 들어 '기초 모델'의 의미는 무엇인가?
• RQ5 향후 NLP 연구는 어떻게 틀을 구성하여 방법론적 엄격함을 확보하고 검증되지 않은 가정에 대한 의존도를 줄일 수 있는가?

주요 결과

• BERT와 GPT-3는 제안된 정의에 따라 문맥 인식 생성, 대규모 미세조정(10억 토큰 이상), 전이 학습 적응 가능성으로 인해 LLM으로 분류된다.
• word2vec과 GloVe와 같은 모델들은 대규모 미세조정는 하지만 추론 시 문맥 인식 생성 기능이 없어 LLM으로 분류되지 않는다.
• LLM이 본질적으로 내구성이 있다고 주장하는 것은 경험적 증거로 일관되게 뒷받침되지 않으며, 특히 분포 외부 또는 악성 입력에서는 종종 실패한다.
• LLM이 체계적으로 최첨단 성능을 달성한다는 주장은 과장되어 있으며, 작업과 평가 벤치마크에 따라 성능 격차가 크게 나타난다.
• 소수 샘플 및 제로 샘플 설정에서 규모 기반 성능 향상에 대한 증거는 강력하지만, 그 관계는 단순한 비선형적이며 작업 복잡도와 데이터 품질에 따라 달라진다.
• 사고 체인 추론과 같은 잠재 능력은 특정 모델 크기 이상에서만 나타나며 비선형적 행동을 시사하지만, 이 현상은 여전히 잘 이해되지 않고 일관성 없이 재현된다.