[論文レビュー] Large Language Models: An Applied Econometric Framework

Jens Ludwig, Sendhil Mullainathan+1 more|arXiv (Cornell University)|Dec 9, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿は、経済学研究における大規模言語モデル（LLMs）を信頼性を持って使用できる状況を評価するための計量経済学的枠組みを開発する。予測と推定のタスクを区別し、LLMが予測に有効であるのは、トレーニングデータの漏洩がない場合に限られ、推定に有効であるのは、LLMの出力がゴールドスタンダード測定と同等の正確性である場合に限ることを示している。そうでない場合には、高い正確性であってもバイアスが持続する。

ABSTRACT

Large language models (LLMs) enable researchers to analyze text at unprecedented scale and minimal cost. Researchers can now revisit old questions and tackle novel ones with rich data. We provide an econometric framework for realizing this potential in two empirical uses. For prediction problems -- forecasting outcomes from text -- valid conclusions require ``no training leakage'' between the LLM's training data and the researcher's sample, which can be enforced through careful model choice and research design. For estimation problems -- automating the measurement of economic concepts for downstream analysis -- valid downstream inference requires combining LLM outputs with a small validation sample to deliver consistent and precise estimates. Absent a validation sample, researchers cannot assess possible errors in LLM outputs, and consequently seemingly innocuous choices (which model, which prompt) can produce dramatically different parameter estimates. When used appropriately, LLMs are powerful tools that can expand the frontier of empirical economics.

研究の動機と目的

• LLMの出力がバイアスを引き起こさずに経済学研究に使用可能となる厳密な条件を確立すること。
• 従来の手法（OLSなど）に類似した形式的な計量経済学的契約がLLMに対して欠如している問題に対処すること。
• LLMが予測と推定のどちらに使用可能かを特定し、有効な推論に必要な仮定を同定すること。
• LLMを用いた実証的研究における一般的な落とし穴を避けるための研究者向け実務的ガイダンスを提供すること。
• LLMは、特に人間の行動を測定する際には、人間によるデータ収集を完全に代替できないことを強調すること。

提案手法

• LLMをブラックボックスとして扱い、内部アーキテクチャやトレーニングデータから抽象化する。
• 2種類の実証的タスクを区別する：予測（例：テキストから結果を予測する）と推定（例：テキストや人間の反応から経済的概念を測定する）。
• 予測の文脈では、LLMのトレーニングコーパスと研究者のサンプルとの間にトレーニングデータの漏洩がないことを要件とする。
• 推定の文脈では、LLMの出力が代替するゴールドスタンダード測定と同等の正確性でなければならない。
• 推定タスクにおけるLLMの測定誤差をモデル化・補正するため、検証データの収集を提言する。
• 漏洩を防ぐために、トレーニングデータが文書化されており、公開された重みを持つオープンソースLLMの使用を提唱する。

実験結果

リサーチクエスチョン

• RQ1 LLMの出力が経済学研究における予測に信頼性を持って使用可能な条件は何か？
• RQ2 テキストや人間の反応から得られる経済的概念を推定するためにLLMを使用するのは、どのような状況で正当化されるか？
• RQ3 トレーニングデータの漏洩がLLMベースの予測や推定の有効性にどのように影響するか？
• RQ4 LLM出力における測定誤差が計量経済的推定をバイアスさせる役割は何か？
• RQ5 どのような研究文脈でLLMは、実際のデータ収集を置き換えることなく、人間被験者の反応を意味的に模倣できるか？

主な発見

• LLMを予測に使用する場合、LLMのトレーニングデータと研究者のサンプルとの間に漏洩がない場合にのみ有効である。
• 推定タスクでは、LLMの出力がゴールドスタンダード測定と同等の正確性でなければならない。高い正確性であっても、バイアスは回避できない。
• トレーニングデータの漏洩は重大なリスクであり、特に公表済みの実験やアンケートがLLMのトレーニングコーパスに含まれる場合には顕著である。
• LLMの経済的推論タスクにおける出力は、プロンプト工学に敏感であることが示され、性能の脆さ（Brittleness）を示している。
• 推定タスクにおけるLLMの測定誤差をモデル化・補正するため、検証データの収集が必要である。
• 実験的調査において、LLMは人間被験者データを完全に代替できるのではなく、むしろその拡張にとどまる。特に実験デザインの数が多い場合には顕著である。