[論文レビュー] Automated Social Science: Language Models as Scientist and Subjects

Benjamin S. Manning, Kehang Zhu+1 more|arXiv (Cornell University)|Apr 17, 2024

Computational and Text Analysis Methods被引用数 14

ひとこと要約

本論文は、構造因果モデル（SCM）に導かれたLLMsを用いて、社会科学の仮説をin silico で生成・検証することを自動化し、4つのシナリオ（交渉、保釈、就職面接、オークション）を評価する。

ABSTRACT

We present an approach for automatically generating and testing, in silico, social scientific hypotheses. This automation is made possible by recent advances in large language models (LLM), but the key feature of the approach is the use of structural causal models. Structural causal models provide a language to state hypotheses, a blueprint for constructing LLM-based agents, an experimental design, and a plan for data analysis. The fitted structural causal model becomes an object available for prediction or the planning of follow-on experiments. We demonstrate the approach with several scenarios: a negotiation, a bail hearing, a job interview, and an auction. In each case, causal relationships are both proposed and tested by the system, finding evidence for some and not others. We provide evidence that the insights from these simulations of social interactions are not available to the LLM purely through direct elicitation. When given its proposed structural causal model for each scenario, the LLM is good at predicting the signs of estimated effects, but it cannot reliably predict the magnitudes of those estimates. In the auction experiment, the in silico simulation results closely match the predictions of auction theory, but elicited predictions of the clearing prices from the LLM are inaccurate. However, the LLM's predictions are dramatically improved if the model can condition on the fitted structural causal model. In short, the LLM knows more than it can (immediately) tell.

研究の動機と目的

• SCMsを青写真として用い、エージェントを生成し、実験を設計し、LLMsでデータを分析するワークフローをformALizeする。
• 社会科学の問題に対する仮説生成とin silico仮説検定を自動化する。
• 複数のシナリオでこのアプローチを実証し、LLMの予測を理論とシミュレーションの結果と比較する。

提案手法

• 仮説生成と実験設計を導くため、単純な線形のSCMsで因果関係を表現する。
• エージェントを、外生的SCM次元で変化するLLM搭載の実体として具体化する。
• 会話を模擬しデータを収集するため、エージェント間の交互プロトコルを用いる。
• 外生的次元に跨る並列シミュレーションを実行し、線形SCMを推定して経路係数を得る。
• データ分析と解釈を導くため、SCMに埋め込まれた事前分析計画を提供する。
• LLMが予測した経路符号と大きさを、シミュレーション推定値と理論と比較する。

Figure 1 : An overview of the automated system.

実験結果

リサーチクエスチョン

• RQ1 SCMを指導原理とする自律システムは、LLM搭載のエージェントを用いて社会科学の仮説を生成・検証できるか。
• RQ2 in silicoシミュレーションは、交渁、保釈決定、就職面接、オークションにおける既知の理論的・経験的パターンを再現するか。
• RQ3 LLMsは効果の方向性と大きさを予測できるか、そして適合したSCMで条件付けると予測はどのように改善するか。

主な発見

• システムは4つのシナリオにわたり、反証可能な仮説を生成・検証し、いくつかの因果経路で有意な効果を見出した。
• マグ交渉シナリオでは、買い手の予算、売り手の最小価格、売り手の愛情が取引成立確率に有意な影響を与えた；大きさも定量化された。
• 保釈シナリオでは、被告歴が保釈を有意に高めた；後悔は小さな効果、または条件付き効果だった。
• 就職面接シナリオでは、司法試験合格が採用に大きな正の効果を及ぼした；身長と面接官の友好性は頑健な予測因子ではなかった。
• オークションでは、入札者の予算が最終価格に正の影響を与え、 Magnitudesはオープン・アセンションオークション理論と一致した。
• LLMのみのプロンプトで経路係数や結果を予測するのは、シミュレーション結果ほど正確ではなかったものの、適合したSCMで条件付けると予測は改善した。

Figure 6 : Comparison of the LLM’s predictions to the theoretical predictions and a subset of experimental results for the auction scenario.