[논문 리뷰] Out of One, Many: Using Language Models to Simulate Human Samples

Lisa P. Argyle, Ethan C. Busby외 4명|arXiv (Cornell University)|2022. 09. 14.

Computational and Text Analysis Methods인용 수 92

한 줄 요약

이 논문은 GPT-3가 인구통계적 배경 이야기로 조건화될 때 다양한 인간 하위집단을 충실히 모방할 수 있음을 보여주고, 실리콘 샘플링을 도입하며, 미국 정치 분야의 여러 연구에서 인간 데이터와의 강한 일치를 시연한다.

ABSTRACT

We propose and explore the possibility that language models can be studied as effective proxies for specific human sub-populations in social science research. Practical and research applications of artificial intelligence tools have sometimes been limited by problematic biases (such as racism or sexism), which are often treated as uniform properties of the models. We show that the "algorithmic bias" within one such tool -- the GPT-3 language model -- is instead both fine-grained and demographically correlated, meaning that proper conditioning will cause it to accurately emulate response distributions from a wide variety of human subgroups. We term this property "algorithmic fidelity" and explore its extent in GPT-3. We create "silicon samples" by conditioning the model on thousands of socio-demographic backstories from real human participants in multiple large surveys conducted in the United States. We then compare the silicon and human samples to demonstrate that the information contained in GPT-3 goes far beyond surface similarity. It is nuanced, multifaceted, and reflects the complex interplay between ideas, attitudes, and socio-cultural context that characterize human attitudes. We suggest that language models with sufficient algorithmic fidelity thus constitute a novel and powerful tool to advance understanding of humans and society across a variety of disciplines.

연구 동기 및 목표

• 개념적으로 알고리즘적 충실성을 정의하고 언어 모델 평가에 사용할 네 가지 기준을 확립한다.
• 훈련 데이터의 인구통계적 편향을 보정하고 실리콘 대상(피험자)을 만들기 위해 실리콘 샘플링을 도입한다.
• GPT-3를 인구통계적 배경 이야기로 조건화하면 정치 영역 전반에서 인간과 유사한 응답을 얻을 수 있음을 보인다.
• GPT-3가 인간 데이터 없이 또는 그 전에 이론 생성을 알리고 검증할 수 있음을 입증한다.]
• method:[]
• method번역치가 비어 있습니다
• method
• ["알고리즘적 충실성 및 네 가지 평가 기준을 정의한다(사회과학 튜링 테스트, 역방향 연속성, 순방향 연속성, 패턴 대응).","ANES 참여자 등 알려진 배경 이야기에 조건화하여 데이터의 인구통계적 왜곡을 보정하기 위한 실리콘 샘플링을 개발한다.","각 인간 참가자에 대해 실리콘 피험자를 만들고 GPT-3가 인간과 동일한 작업에 대해 해당 응답을 생성하도록 한다.","정치 및 여론에서 GPT-3의 출력을 인간 데이터와 비교하는 세 가지 연구를 수행하여 영역 간 충실성을 평가한다.","조건화 및 소거 분석을 사용하여 강건성과 모델 간 비교를 탐색한다."]
• research_questions:[]
• research_questions
• ["GPT-3가 정치적 편파성을 설명하는 인간 텍스트와 구별할 수 없는 출력을 생성할 수 있는가(기준 1)?","GPT-3 출력이 입력 조건 및 인구통계 정보를 반영하는가(기준 2)?","GPT-3 응답이 조건 맥락 및 기대 콘텐츠와 순방향으로 일치하는가(기준 3)?","GPT-3 출력이 인간에서 관찰되는 아이디어, 태도 및 인구통계 간 관계를 재현하는가(기준 4)?"]
• key_findings:[]
• key_findings
• ["스텀 연구에서 GPT-3 출력은 표적 과제에서 인간 텍스트와 거의 구별되지 않는다(튜링 유사 증거).","평가에 따르면 GPT-3 응답은 입력의 태도 및 사회인구통계 정보를 반영한다(역방향 연속성).","조건화에 따라 예측된 방식으로 달라지며 맥락에 맞는 어조/내용을 보존한다(순방향 연속성).","강한 패턴 대응이 관찰되었다: GPT-3가 인구통계, 태도 및 행동 사이의 인간 유사 관계를 재현하며, 여러 해 및 하위 그룹에서 증거를 보인다.","2012, 2016, 2020에 걸친 GPT-3와 ANES 투표 선택 간 상당한 상관관계, 테트라초릭 상관계수 0.90, 0.92, 0.94 및 높은 비율 일치(0.85, 0.87, 0.89).","연구 3은 GPT-3가 태도와 인구통계 간의 복합적 연관을 재현함을 보여준다(Cramer’s V 패턴과 작은 평균 차이)."]
• table_headers:[]
• table_headers
• ["Year","Tetrachoric Correlation","Proportion Agreement"]
• table_rows:[]
• table_rows
• [["2012","0.90","0.85"],["2016","0.92","0.87"],["2020","0.94","0.89"]]

제안 방법

• Define algorithmic fidelity and four evaluative criteria (Social Science Turing Test, Backward Continuity, Forward Continuity, Pattern Correspondence).
• Develop silicon sampling to adjust for demographic skew in training data by conditioning on known backstories (e.g., ANES participants).
• Create silicon subjects for each human participant and have GPT-3 generate corresponding responses to the same tasks as humans.
• Conduct three studies comparing GPT-3 outputs to human data in politics and opinion to assess fidelity across domains.
• Use conditioning and ablation analyses to explore robustness and model comparisons.

실험 결과

연구 질문

• RQ1 Can GPT-3 generate outputs indistinguishable from human texts describing political partisans (criterion 1)?
• RQ2 Do GPT-3 outputs reflect the input conditioning and demographic information (criterion 2)?
• RQ3 Do GPT-3 responses forwardly align with the conditioning context and expected content (criterion 3)?
• RQ4 Do GPT-3 outputs reproduce the relationships between ideas, attitudes, and demographics observed in humans (criterion 4)?

주요 결과

• GPT-3 outputs in stem studies are largely indistinguishable from human texts in targeted tasks (Turing-like evidence).
• Evaluations show GPT-3 responses mirror the attitudes and socio-demographic information of their inputs (backward continuity).
• GPT-3 responses vary with conditioning in expected ways and preserve tone/content aligned with context (forward continuity).
• Strong pattern correspondence observed: GPT-3 reproduces human-like relationships between demographics, attitudes, and behaviors, evidenced across multiple years and subgroups.
• Significant correlations between GPT-3 and ANES vote choices across 2012, 2016, and 2020, with tetrachoric correlations of 0.90, 0.92, and 0.94 respectively and high proportion agreement (0.85, 0.87, 0.89).
• Study 3 shows GPT-3 reproduces complex associations among attitudes and demographics (Cramer’s V patterns with small mean difference).