[論文レビュー] Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information

Seungjong Sun, Eungu Lee+5 more|arXiv (Cornell University)|Feb 28, 2024

Computational and Text Analysis Methods被引用数 6

ひとこと要約

論文はランダム・シリコン・サンプリングを導入し、大規模言語モデルにグループレベルの人口統計情報を付与することで人間のサブ集団の意見を模倣し、人口統計グループとトピックにわたる実際の米国の世論分布を再現する能力を評価する方法である。

ABSTRACT

Large language models exhibit societal biases associated with demographic information, including race, gender, and others. Endowing such language models with personalities based on demographic data can enable generating opinions that align with those of humans. Building on this idea, we propose "random silicon sampling," a method to emulate the opinions of the human population sub-group. Our study analyzed 1) a language model that generates the survey responses that correspond with a human group based solely on its demographic distribution and 2) the applicability of our methodology across various demographic subgroups and thematic questions. Through random silicon sampling and using only group-level demographic information, we discovered that language models can generate response distributions that are remarkably similar to the actual U.S. public opinion polls. Moreover, we found that the replicability of language models varies depending on the demographic group and topic of the question, and this can be attributed to inherent societal biases in the models. Our findings demonstrate the feasibility of mirroring a group's opinion using only demographic distribution and elucidate the effect of social biases in language models on such simulations.

研究の動機と目的

• 人口統計情報に関連する社会的バイアスに対処することで研究動機を提示する。
• 人間のグループの人口統計分布に整合する調査回答を生成するためのランダム・シリコン・サンプリングを提案する。
• 複数の人口統計サブグループと主題別の質問に対する方法の適用可能性を評価する。
• LLMsに内在する社会的バイアスが模擬意見の再現性に与える影響を検討する。

提案手法

• LLMを使用して、ある人間グループに対応する調査回答を、そのグループの人口統計分布のみに基づいて生成する。
• 人口統計データに基づく人格をモデルに付与して意見分布を引き出す。
• 生成された回答分布が実際の米国の世論調査とどの程度一致するかを評価する。
• 人口統計グループと質問トピックを超えた方法の再現性を分析する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、グループレベルの人口統計情報のみを与えられた場合でも、人間の人口サブグループと一致する調査回答分布を生成できるか。
• RQ2 モデルのバイアスのため、模擬意見の再現性は人口統計グループとトピックによって異なるか。
• RQ3 ランダム・シリコン・サンプリングは、人口統計サブグループ間で実際の世論分布をどの程度再現できるか。
• RQ4 LLMsに内在する社会的バイアスがサブ集団の意見の模擬に与える影響は何か。

主な発見

• グループレベルの人口統計によって導かれると、言語モデルは実際の米国の世論調査と非常に似た回答分布を生成できる。
• 模擬意見の再現性は、人口統計グループおよび質問のトピックによって異なる。
• バイアスは、サブ人口の意見模擬の忠実度と一貫性に影響を与える。
• このアプローチは、人口統計分布のみを用いてグループの意見を鏡像化する実現可能性を示し、バイアス効果を明らかにする。