[논문 리뷰] Generative Social Choice

Sara Fish, Paul Gölz외 5명|arXiv (Cornell University)|2023. 09. 03.

Misinformation and Its ImpactsSocial Sciences인용 수 3

한 줄 요약

이 논문은 사회선택이론과 대규모 언어모델(LLM)을 융합한 생성형 사회선택(generative social choice) 프레임워크를 소개한다. 이는 고정된 선택지가 아닌 개방형, 생성된 대안(예: 정책 제안문)에 대한 선호도를 민주적으로 집계할 수 있도록 한다. 연구는 LLM이 다수의 의견을 안정적으로 생성하고 표현할 수 있음을 입증하며, 챗봇 개인화에 관한 설문에서 참가자 만족도가 93%에 이르렀다.

ABSTRACT

The mathematical study of voting, social choice theory, has traditionally only been applicable to choices among a few predetermined alternatives, but not to open-ended decisions such as collectively selecting a textual statement. We introduce generative social choice, a design methodology for open-ended democratic processes that combines the rigor of social choice theory with the capability of large language models to generate text and extrapolate preferences. Our framework divides the design of AI-augmented democratic processes into two components: first, proving that the process satisfies representation guarantees when given access to oracle queries; second, empirically validating that these queries can be approximately implemented using a large language model. We apply this framework to the problem of summarizing free-form opinions into a proportionally representative slate of opinion statements; specifically, we develop a democratic process with representation guarantees and use this process to portray the opinions of participants in a survey about abortion policy. In a trial with 100 representative US residents, we find that 84 out of 100 participants feel "excellently" or "exceptionally" represented by the slate of five statements we extracted.

연구 동기 및 목표

• 고전적 사회선택이론이 개방형, 뜻밖의 대안과 강제적인 선호도 수집 방식을 다루는 데에 한계가 있음을 해결하기 위해.
• 사회선택의 수학적 엄밀함과 LLM의 생성 능력을 융합한 원칙적인 프레임워크를 개발하기 위해.
• 민주적 과정에서 표현 보장을 위해 요구되는 이상화된 오라클 쿼리에 LLM이 얼마나 잘 근사할 수 있는지 경험적으로 검증하기 위해.
• 실세계의 의견 요약 작업에서 LLM을 보완한 민주적 과정의 실현 가능성과 효과성을 입증하기 위해.
• 이론적 보장과 LLM 능력의 경험적 검증을 결합하여 AI 보강된 의사결정에서 공정성과 합법성을 확보하기 위해.

제안 방법

• LLM을 보강한 민주적 과정 설계를 두 가지 요소로 분해: 이상화된 오라클 접근이 가능한 이상적인 조건에서의 이론적 보장, LLM 쿼리 근사치의 경험적 검증.
• 두 가지 핵심 쿼리 유형 정의: 생성형 쿼리(자유형 의견에서 새로운 대표성 있는 문장을 생성하기 위해), 분류형 쿼리(생성된 문장들 중에서 순위를 매기거나 선택하기 위해).
• 다단계 프로세스 활용: 첫째, 참가자들로부터 자유형 의견 수집; 둘째, 다양한 프롬프팅 전략을 활용해 LLM을 통해 후보 문장 생성.
• 참가자들의 의견에 대한 공감대와 다양성을 기반으로, 다섯 개의 가장 대표적인 문장 슬레이트를 선별하기 위해 분류형 쿼리 적용.
• 최종 슬레이트의 타당성을 평가하기 위해, 새로운 참가자 그룹을 대상으로 사후 설문 조사 실시.
• 표본 추출 한계와 비례성 공리(예: BJR)를 활용해 이상적인 조건 하에서의 이론적 표현 보장을 확보.

실험 결과

연구 질문

• RQ1 사회선택이론은 고정된 선택지가 아닌 개방형, 생성된 대안에 대한 집단적 결정을 지원할 수 있는가?
• RQ2 대규모 언어모델(LLM)은 민주적 과정에서 표현 보장을 위해 요구되는 이상화된 오라클 쿼리를 어느 정도 근사할 수 있는가?
• RQ3 LLM이 생성한 문장 슬레이트는 자유형 설문에서 표현된 의견의 다양성을 얼마나 잘 반영하는가?
• RQ4 참가자 만족도와 공정성 측면에서 LLM 기반 민주적 과정의 경험적 성능은 어떠한가?
• RQ5 확장성을 희생시키지 않으면서도, LLM을 보강한 민주적 시스템에서 투명성과 합법성을 어떻게 유지할 수 있는가?

주요 결과

• 이 프레임워크는 챗봇 개인화에 관한 설문에서 100명의 참가자들이 표현한 다양한 의견을 효과적으로 반영한 다섯 개의 문장 슬레이트를 성공적으로 생성했다.
• 100명의 참가자 중 93명이 최종 슬레이트가 자신을 '주로' 또는 '완전히' 대표한다고 평가하여, 강력한 경험적 대표성의 가능성을 입증했다.
• 분류형 쿼리는 서로 다른 참가자 집단의 선호도와 일치하는 문장을 효과적으로 선별했으며, 평가 분포상의 높은 내부 집단 일치도를 보였다.
• 각 참가자 집단이 할당된 문장에 명확한 선호도를 보이며, 슬레이트가 의견의 의미 있는 이질성을 잘 반영하고 있음을 확인했다.
• 이론적 표현 보장(예: BJR)이 유지되었고, LLM 기반 쿼리가 오라클 행동을 충분히 근사하여 높은 참가자 만족도를 달성했다.
• 일부 LLM이 생성한 문장이 인기 없거나 정확도가 떨어지더라도, 다수의 후보를 생성하고 투표 유사한 선택 방식을 적용함으로써 강건성이 향상되었다.