[論文レビュー] Surveying Generative AI's Economic Expectations

Leland Bybee|arXiv (Cornell University)|May 4, 2023

Stock Market Forecasting Methods被引用数 4

ひとこと要約

本稿では、GPT-3.5 などの大規模言語モデル（LLM）を用いて、1984年から2021年までの歴史的ウォールストリートジャーナル記事をプロンプトとして提示することで、経済的期待を生成する手法を提案している。その結果、LLMが生成する期待は、一般的な調査である調査者プロフェッショナルフォーキャスト（SPF）、AAII、デュークCFO調査と類似した傾向を示すことが明らかになった。主な発見は、LLMが、反応遅れや外挿的期待といった行動バイアスを再現しており、単なる記憶を超えて一般化していること、非合理的な期待をモデル化するための新規でスケーラブルな代理指標としての可能性を示している。

ABSTRACT

I introduce a survey of economic expectations formed by querying a large language model (LLM)'s expectations of various financial and macroeconomic variables based on a sample of news articles from the Wall Street Journal between 1984 and 2021. I find the resulting expectations closely match existing surveys including the Survey of Professional Forecasters (SPF), the American Association of Individual Investors, and the Duke CFO Survey. Importantly, I document that LLM based expectations match many of the deviations from full-information rational expectations exhibited in these existing survey series. The LLM's macroeconomic expectations exhibit under-reaction commonly found in consensus SPF forecasts. Additionally, its return expectations are extrapolative, disconnected from objective measures of expected returns, and negatively correlated with future realized returns. Finally, using a sample of articles outside of the LLM's training period I find that the correlation with existing survey measures persists -- indicating these results do not reflect memorization but generalization on the part of the LLM. My results provide evidence for the potential of LLMs to help us better understand human beliefs and navigate possible models of nonrational expectations.

研究の動機と目的

• 大規模言語モデル（LLM）を用いた、経済的期待の代理指標を生成する新規でスケーラブルな手法の開発。
• LLMが生成する期待が、従来の調査で観察される合理的期待からの既知の行動的逸脱を再現するかどうかの検証。
• LLMが訓練データの記憶を超えて一般化しているかどうかを、訓練期間外のデータに対するアウトオブサンプル性能を評価することで検証。
• LLMの期待が、将来の実現値の知識やSPFの改訂に基づいているかどうかを検証し、データリークの可能性を除外。

提案手法

• GPT-3.5を微調整し、1984年から2021年までの歴史的ウォールストリートジャーナル記事をプロンプトとして提示することで、金融およびマクロ経済変数の予測を実行。
• 個々の記事レベルの期待を月次および四半期単位の時系列に集約し、LLMベースの予測を生成。
• 相関係数と回帰分析を用いて、LLMの期待とSPF、AAII、デュークCFO調査といったベンチマーク調査を比較。
• 2021年9月から2023年3月までのWSJ記事を用いてアウトオブサンプルテストを実施し、訓練データを超えた一般化能力を評価。
• パネル回帰分析を実施し、LLMの期待がSPFの改訂や実現値と相関しているかどうかを検証し、予測力の源泉を特定。
• 時系列およびパネルデータにおける自己相関と横断的相関を考慮するため、Newey-WestおよびDriscoll-Kraay標準誤差を用いる。

実験結果

リサーチクエスチョン

• RQ1 LLMは、SPF、AAII、デュークCFO調査といった既存の調査ベースの指標と類似した経済的期待を生成できるか？
• RQ2 LLMが生成する期待は、人間の調査データで観察される反応遅れや外挿的期待といった行動バイアスを示すか？
• RQ3 LLMの期待と調査指標との相関が、訓練データの記憶によるものか、それとも訓練データ外のデータに対しても一般化しているか？
• RQ4 LLMの期待は、将来の実現値の知識に基づいているのか、それとも既存の調査予測の改訂に基づいているのか？
• RQ5 LLMは、行動ファイナンスの文脈で観察されるリターン期待と客観的期待リターンの乖離を再現できるか？

主な発見

• LLMが生成する期待は、調査者プロフェッショナルフォーキャスト（SPF）、AAII、デュークCFO調査と有意に相関しており、他の調査指標と同等の相関水準を示している。
• LLMはマクロ経済予測において反応遅れを示しており、これは共通のSPF予測に観察されるwell-documentedなバイアスと一致する。
• LLMのリターン期待は外挿的であり、客観的な期待リターンの測定値とは乖離しており、将来の実現リターンと負の相関を示しており、行動ファイナンスの文献と整合的である。
• LLMの期待と調査指標との相関は、2021年9月以降のアウトオブサンプルデータでも維持されており、記憶ではなく一般化の結果であることが示唆される。
• LLMの期待は、将来の実現値の知識に基づいてはおらず、代わりにSPFの改訂と相関しているため、調査ベースの信念形成プロセスと整合していると考えられる。
• LLMは、合理的期待からの主要な逸脱、例えばCG（Coibion-Gorodnichenko）係数パターンを再現しており、人間の信念形成バイアスを模倣する能力が確認された。