[論文レビュー] Out of One, Many: Using Language Models to Simulate Human Samples

Lisa P. Argyle, Ethan C. Busby+4 more|arXiv (Cornell University)|Sep 14, 2022

Computational and Text Analysis Methods被引用数 92

ひとこと要約

本論文は、GPT-3 が人口統計的バックストーリーを条件にすると多様な人間のサブポピュレーションを忠実に模倣できることを示し、シリコン・サンプリングを導入し、米国政治に関する複数の研究で人間データとの強い適合を実証しています。

ABSTRACT

We propose and explore the possibility that language models can be studied as effective proxies for specific human sub-populations in social science research. Practical and research applications of artificial intelligence tools have sometimes been limited by problematic biases (such as racism or sexism), which are often treated as uniform properties of the models. We show that the "algorithmic bias" within one such tool -- the GPT-3 language model -- is instead both fine-grained and demographically correlated, meaning that proper conditioning will cause it to accurately emulate response distributions from a wide variety of human subgroups. We term this property "algorithmic fidelity" and explore its extent in GPT-3. We create "silicon samples" by conditioning the model on thousands of socio-demographic backstories from real human participants in multiple large surveys conducted in the United States. We then compare the silicon and human samples to demonstrate that the information contained in GPT-3 goes far beyond surface similarity. It is nuanced, multifaceted, and reflects the complex interplay between ideas, attitudes, and socio-cultural context that characterize human attitudes. We suggest that language models with sufficient algorithmic fidelity thus constitute a novel and powerful tool to advance understanding of humans and society across a variety of disciplines.

研究の動機と目的

• 言語モデルにおけるアルゴリズム的忠実性を概念化し、それを評価する4つの基準を設定する。
• モデルの人口統計的歪みを是正するためのシリコン・サンプリングを導入し、シリコン・サブジェクトを作成する。
• GPT-3 を人口統計的バックストーリーで条件付けすることが、政治分野全般にわたり人間に近い応答を生むことを示す。
• 人間データを用いる前情報として、あるいは人間データなしでも、理論生成と検証にGPT-3が役立つことを示す証拠を提供する。

提案手法

• アルゴリズム的忠実性と4つの評価基準（社会科学のチューリング・テスト、Backward Continuity、Forward Continuity、Pattern Correspondence）を定義する。
• 既知のバックストーリーに条件付けすることで訓練データの人口統計学的歪みを補正するためのシリコン・サンプリングを開発する（例えば ANES の参加者）。
• 各人間参加者に対してシリコン・サブジェクトを作成し、GPT-3 が人間と同じタスクに対する対応する応答を生成させる。
• 政治と世論におけるGPT-3の出力を人間データと比較する3つの研究を実施して、領域横断での忠実性を評価する。
• 条件付けおよびアブレーション分析を用いて頑健性とモデル間比較を探る。

実験結果

リサーチクエスチョン

• RQ1 GPT-3 は政治的党派を説明する人間のテキストと区別がつかない出力を生成できるか（基準1）？
• RQ2 GPT-3 の出力は入力の条件付けおよび人口統計情報を反映しているか（基準2）？
• RQ3 GPT-3 の応答は条件付けされた文脈および期待される内容と前向きに一致しているか（基準3）？
• RQ4 GPT-3 の出力は人間に観察されるアイデア、態度、人口動態の関係を再現しているか（基準4）？

主な発見

Year	Tetrachoric Correlation	Proportion Agreement
2012	0.90	0.85
2016	0.92	0.87
2020	0.94	0.89

• 幹研究における GPT-3 出力は、標的タスクにおいて人間のテキストとほぼ区別できない（チューリング様の証拠）。
• 評価は、GPT-3の応答が入力の態度や社会人口統計情報を反映していることを示す（Backward Continuity）。
• 条件付けに応じてGPT-3の応答が予想される方法で変化し、文脈に沿ったトーン/内容を保持する（Forward Continuity）。
• 強いパターン対応が観察される：GPT-3 は人口統計、態度、行動の人間的な関係を再現し、複数年・サブグループにわたって証拠がある。
• 2012/2016/2020 での GPT-3 と ANES の投票選択の間に顕著な相関があり、四分点相関はそれぞれ 0.90, 0.92, 0.94、同意割合は高い（0.85, 0.87, 0.89）。
• 研究3は、GPT-3 が態度と人口統計の複雑な関連を再現することを示しており、Cramer's Vパターンは小さな平均差とともに見られる。