[論文レビュー] Generative Social Choice

Sara Fish, Paul Gölz+5 more|arXiv (Cornell University)|Sep 3, 2023

Misinformation and Its ImpactsSocial Sciences被引用数 3

ひとこと要約

この論文は、社会選択理論と大規模言語モデル（LLMs）を組み合わせることで、固定された選択肢ではなく、生成的に作成された開放的で自由な代替案（例：政策提言）に対する民主的合意形成を可能にする「生成的社會選択」の枠組みを紹介する。LLMsが多様な意見を信頼性高く生成・表現できることを示し、チャットボットカスタマイズに関する調査で93%の参加者満足度を達成した。

ABSTRACT

The mathematical study of voting, social choice theory, has traditionally only been applicable to choices among a few predetermined alternatives, but not to open-ended decisions such as collectively selecting a textual statement. We introduce generative social choice, a design methodology for open-ended democratic processes that combines the rigor of social choice theory with the capability of large language models to generate text and extrapolate preferences. Our framework divides the design of AI-augmented democratic processes into two components: first, proving that the process satisfies representation guarantees when given access to oracle queries; second, empirically validating that these queries can be approximately implemented using a large language model. We apply this framework to the problem of summarizing free-form opinions into a proportionally representative slate of opinion statements; specifically, we develop a democratic process with representation guarantees and use this process to portray the opinions of participants in a survey about abortion policy. In a trial with 100 representative US residents, we find that 84 out of 100 participants feel "excellently" or "exceptionally" represented by the slate of five statements we extracted.

研究の動機と目的

• 古典的社會選択理論が開放的で予期しない代替案や硬直的な好みの特定に限界を示す問題に対処すること。
• 社會選択の数学的厳密性とLLMsの生成的パワーを統合する原則的枠組みの開発。
• 民主的プロセスにおける代表的保証を達成するために必要な理想化されたオラクルクエリをLLMsがどの程度近似できるかを経験的に検証すること。
• LLMを補完する民主的プロセスが実世界の意見要約タスクにおいて実行可能で効果的であることを示すこと。
• 理論的保証とLLMsの能力に関する経験的検証を組み合わせることで、AI補完型意思決定における公平性と正当性を確保すること。

提案手法

• LLM補完型民主的プロセスの設計を、完全なオラクルアクセス下での理論的保証と、LLMクエリ近似の経験的検証の2つの側面に分解する。
• 2つの主要なクエリタイプを定義する：生成的クエリ（自由形式の意見から新しい代表的文を生成する）と判別的クエリ（生成された文の中から順位付けや選択を行う）。
• 段階的なプロセスを採用する：まず、参加者から自由形式の意見を収集する。次に、多様なプロンプト戦略を用いてLLMsで候補文を生成する。
• 参加者の意見にわたるコンSENSUSと多様性に基づき、5件の代表的文のスレートを選択するための判別的クエリを適用する。
• 最終スレートの妥当性を検証するために、別グループの参加者による後向き調査を実施し、認識された代表的さを評価する。
• サンプリングの境界と比例性の公理（例：BJR）を用いて、理想化された条件下での理論的代表的保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 社會選択理論は、固定された選択肢ではなく、開放的で生成的に作成された代替案に対する集団的意思決定をサポートできるか？
• RQ2 大規模言語モデル（LLMs）は、民主的プロセスにおける代表的保証を達成するために必要な理想化されたオラクルクエリをどの程度近似できるか？
• RQ3 LLMsが生成する文のスレートは、自由形式のアンケートで示された意見の多様性をどの程度適切に反映しているか？
• RQ4 参加者満足度と公平性という観点から、LLMベースの民主的プロセスの経験的パフォーマンスはどの程度か？
• RQ5 スケーラビリティを損なわずに、LLM補完型民主的システムにおける透明性と正当性をどのように維持できるか？

主な発見

• この枠組みは、チャットボットカスタマイズに関する調査で100名の参加者の多様な意見を的確に反映する5件の文のスレートを成功裏に生成した。
• 100名の参加者のうち93名が、最終スレートに対して「ほとんど」または「完全に」代表されていると感じており、強い経験的代表的さが示された。
• 判別的クエリは、異なる参加者グループの好みに整合する文を効果的に選択しており、評価分布におけるグループ内一致度の高さからその有効性が裏付けられた。
• 各参加者グループが自身の割り当てられた文を明確に好んでおり、スレートが意見の意味的な多様性を的確に捉えていることが確認された。
• 理論的代表的保証（例：BJR）が維持されており、LLMベースのクエリがオラクル行動を十分に近似することで、参加者満足度が著しく向上した。
• 一部のLLM生成文が人気を博さなかったり正確さに欠けたりしたものの、複数の候補を生成し、投票に似た選択手法を用いることで、耐性が向上した。