[논문 리뷰] Large Language Models: An Applied Econometric Framework

Jens Ludwig, Sendhil Mullainathan외 1명|arXiv (Cornell University)|2024. 12. 09.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 경제학 연구에서 대규모 언어 모델(Large Language Models, LLMs)을 신뢰성 있게 사용할 수 있는 조건을 평가하기 위한 계량경제학 프레임워크를 개발한다. LLMs의 예측과 추정 작업을 구분하여, 훈련 데이터 유출이 없는 한에서만 예측에 대해 유효하며, 골드표준 측정값과 동등한 정확도를 보일 경우에만 추정에 대해 유효하다고 밝힌다. 그렇지 않으면 고정된 편향이 존재하더라도 높은 정확도가 유지될 수 있다.

ABSTRACT

Large language models (LLMs) enable researchers to analyze text at unprecedented scale and minimal cost. Researchers can now revisit old questions and tackle novel ones with rich data. We provide an econometric framework for realizing this potential in two empirical uses. For prediction problems -- forecasting outcomes from text -- valid conclusions require ``no training leakage'' between the LLM's training data and the researcher's sample, which can be enforced through careful model choice and research design. For estimation problems -- automating the measurement of economic concepts for downstream analysis -- valid downstream inference requires combining LLM outputs with a small validation sample to deliver consistent and precise estimates. Absent a validation sample, researchers cannot assess possible errors in LLM outputs, and consequently seemingly innocuous choices (which model, which prompt) can produce dramatically different parameter estimates. When used appropriately, LLMs are powerful tools that can expand the frontier of empirical economics.

연구 동기 및 목표

• LLM 출력물이 편향을 유발하지 않도록 경제학 연구에서 사용할 수 있는 엄격한 조건을 설정하기 위해.
• 기존의 OLS와 같은 전통적 방법에 비유 가능한 공식적인 계량경제학적 계약이 LLMs에 부족한 문제를 해결하기 위해.
• LLM을 예측과 추정에 언제 사용할 수 있는지, 그리고 타당한 추론을 위해 필요한 가정은 무엇인지 규명하기 위해.
• 연구자들이 LLM 기반 실증 연구에서 흔히 마주치는 함정을 피할 수 있도록 실용적 지침을 제공하기 위해.
• 실험적 설정에서 LLMs가 인간의 데이터 수집을 완전히 대체할 수 없으며, 특히 인간 행동을 측정할 경우에 특히 그렇다는 점을 강조하기 위해.

제안 방법

• LLM을 내부 아키텍처와 훈련 데이터로부터 추상화된 블랙박스로 간주한다.
• 예측(예: 텍스트에서 결과를 예측하는 것)과 추정(예: 텍스트나 인간 응답에서 경제 개념을 측정하는 것)이라는 두 가지 유형의 실증 작업을 구분한다.
• 예측의 경우, LLM의 훈련 코퍼스와 연구자 샘플 간에 훈련 데이터 유출이 없어야 유효성을 확보할 수 있다.
• 추정의 경우, LLM 출력물이 대체하는 골드표준 측정값과 동등한 정확도를 가져야 편향을 피할 수 있다.
• LLM 측정 오차를 모델링하고 추정 작업에서 편향을 교정하기 위해 검증 데이터를 수집할 것을 제안한다.
• 유출 방지를 위해 훈련 데이터가 문서화되고, 공개된 가중치를 가진 오픈소스 LLM을 사용할 것을 권장한다.

실험 결과

연구 질문

• RQ1 경제학 연구에서 LLM 출력물을 예측에 신뢰성 있게 사용할 수 있는 조건은 무엇인가?
• RQ2 텍스트나 인간 응답에서 파생된 경제 개념을 추정할 때 LLM을 사용하는 것이 타당한 경우는 언제인가?
• RQ3 훈련 데이터 유출은 LLM 기반 예측과 추정의 유효성에 어떤 영향을 미치는가?
• RQ4 LLM 출력물의 측정 오차는 계량경제학적 추정치를 편향시키는 데 어떤 역할을 하는가?
• RQ5 어떤 연구 맥락에서 LLM은 실제 데이터 수집을 대체하지 못하고도 인간 피실험자 응답을 의미 있게 시뮬레이션할 수 있는가?

주요 결과

• LLM을 예측에 사용하는 것은 LLM의 훈련 데이터와 연구자 샘플 간에 유출이 없을 때에만 유효하다.
• 추정 작업의 경우, LLM 출력물이 골드표준 측정값과 동등한 정확도를 가져야 편향을 피할 수 있다. 이는 매우 높은 정확도일지라도 마찬가지다.
• 훈련 데이터 유출은 특히 공개된 실험이나 설문 조사가 LLM의 훈련 코퍼스에 포함된 경우 주요 위험 요소가 된다.
• LLM의 경제적 추론 과제에서의 응답은 프롬프트 엔지니어링에 민감할 수 있어 성능의 취약성을 보여준다.
• 추정 작업에서 LLM 측정 오차를 모델링하고 교정하기 위해 검증 데이터를 수집해야 한다.
• 실험적 연구에서 LLM은 인간 피실험자 데이터를 완전히 대체할 수 없으며, 특히 실험 설계 수가 많을 경우에 한해 강화할 수 있을 뿐이다.