[논문 리뷰] Surveying Generative AI's Economic Expectations

Leland Bybee|arXiv (Cornell University)|2023. 05. 04.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 GPT-3.5와 같은 대규모 언어 모델(LLM)을 활용해 1984년에서 2021년까지의 이전 월스트리트저널 기사들을 프롬프트로 제공함으로써 경제적 기대를 생성하는 방법을 제안한다. 그 결과, LLM 기반 기대는 기존의 설문 조사인 전문가 예측 설문조사(SPF), AAII, 듀크 CFO 설문조사 등과 유사한 경향을 보이며, 이는 LLM이 기억의 초월을 넘어서 일반화되어 있음을 시사한다. 주요 발견은 LLM이 인간의 행동 편향인 과소반응과 외삽적 기대를 재현한다는 점으로, 이는 비합리적 기대를 모델링하기 위한 새로운 타당하고 확장 가능한 대체 지표가 될 수 있음을 보여준다.

ABSTRACT

I introduce a survey of economic expectations formed by querying a large language model (LLM)'s expectations of various financial and macroeconomic variables based on a sample of news articles from the Wall Street Journal between 1984 and 2021. I find the resulting expectations closely match existing surveys including the Survey of Professional Forecasters (SPF), the American Association of Individual Investors, and the Duke CFO Survey. Importantly, I document that LLM based expectations match many of the deviations from full-information rational expectations exhibited in these existing survey series. The LLM's macroeconomic expectations exhibit under-reaction commonly found in consensus SPF forecasts. Additionally, its return expectations are extrapolative, disconnected from objective measures of expected returns, and negatively correlated with future realized returns. Finally, using a sample of articles outside of the LLM's training period I find that the correlation with existing survey measures persists -- indicating these results do not reflect memorization but generalization on the part of the LLM. My results provide evidence for the potential of LLMs to help us better understand human beliefs and navigate possible models of nonrational expectations.

연구 동기 및 목표

• 대규모 언어 모델(LLM)을 활용해 경제 기대의 대체 지표를 개발하고자 하는 것.
• LLM이 기존 설문 조사에서 관찰된 합리적 기대에서 벗어난 행동 편향을 재현하는지 검증하고자 하는 것.
• LLM이 훈련 데이터 기간 외의 데이터에 대해 일반화하는지 평가하기 위해 샘플 외 테스트를 수행하고자 하는 것.
• LLM 기대가 향후 실현값의 지식 또는 SPF 수정치에 의해 영향을 받는지 여부를 규명하여 데이터 泄露를 배제하고자 하는 것.

제안 방법

• 1984년에서 2021년까지의 이전 월스트리트저널 기사들을 프롬프트로 제공하여 GPT-3.5를 미세조정함으로써 금융 및 거시경제 변수 예측을 수행한다.
• 개별 기사 수준의 기대를 월간 및 분기별 시계열 예측으로 집계한다.
• 상관관계 및 회귀 분석을 통해 LLM 기대를 SPF, AAII, 듀크 CFO 설문조사와 비교한다.
• 2021년 9월에서 2023년 3월까지의 WSJ 기사 데이터를 활용해 샘플 외 테스트를 수행하여 훈련 데이터를 초월한 일반화 능력을 평가한다.
• 패널 회귀 분석을 통해 LLM 기대가 SPF 수정치나 실현된 값과 상관관계가 있는지 확인하고, 예측력의 근본 원인을 규명한다.
• 시계열 및 패널 데이터에서의 순차적 및 교차적 의존성을 고려하기 위해 Newey-West 및 Driscoll-Kraay 표준오차를 사용한다.

실험 결과

연구 질문

• RQ1 LLM은 SPF, AAII, 듀크 CFO 설문조사와 같은 기존 설문 기반 측정치와 유사한 경제 기대를 생성할 수 있는가?
• RQ2 LLM이 생성한 기대는 인간 설문 데이터에서 관찰된 과소반응 및 외삽적 기대와 같은 동일한 행동 편향을 보이는가?
• RQ3 LLM 기대와 설문 조사 측정치 간의 상관관계는 훈련 데이터의 암기 때문인가, 아니면 샘플 외 데이터에 대한 일반화 때문인가?
• RQ4 LLM 기대는 향후 실현값의 지식에 의해 영향을 받는가, 아니면 기존 설문 조사 예측 수정치에 의해 영향을 받는가?
• RQ5 LLM은 행동 금융학에서 관찰된 수익 기대와 객관적 기대 수익 간의 괴리 현상을 재현하는가?

주요 결과

• LLM 기반 기대는 전문가 예측 설문조사(SPF), AAII, 듀크 CFO 설문조사와 유의미한 상관관계를 보이며, 이는 다른 설문 조사 측정치와 유사한 수준의 상관관계를 확보한다.
• LLM은 거시경제 예측에서 과소반응을 보이며, 이는 공모 예측 SPF에서 잘 알려진 편향과 일치한다.
• LLM 수익 기대는 외삽적 성향을 보이며, 객관적 기대 수익 측정치와는 분리되어 있으며,未래 실현 수익과 음의 상관관계를 보인다. 이는 행동 금융학 문헌과 일치한다.
• LLM 기대와 설문 조사 측정치 간의 상관관계는 샘플 외 데이터(2021년 9월 이후)에서도 유지되며, 이는 암기의 결과가 아니라 일반화의 결과임을 시사한다.
• LLM 기대는 향후 실현값의 지식에 의해 영향을 받는 것이 아니라 SPF 수정치와 상관관계가 있으며, 이는 설문 기반 믿음 형성 과정과의 일치를 시사한다.
• LLM은 합리적 기대에서 벗어나는 핵심 편향, 예를 들어 CG(Coibion-Gorodnichenko) 계수 패턴을 재현함으로써 인간과 유사한 믿음 형성 편향을 시뮬레이션할 수 있음을 확인한다.