[논문 리뷰] Participatory Budgeting Design for the Real World

Roy Fairstein, Gerdus Benadè외 1명|arXiv (Cornell University)|2023. 02. 26.

Economic and Environmental ValuationEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 연구는 1,800명의 참가자가 참여한 통제 실험을 통해 참가자 예산 편성(PB) 설계를 평가하며, 투표 형식과 집계 방법을 시험한다. k-approval 투표는 최고의 사용자 경험을 제공하는 것으로 나타났고, 동일한 기여도 방법(ES)은 저참여 상황에서도 안정적이고 형식에 민감하지 않은 결과를 도출하여 탐욕적 집계 방식보다 안정성과 공정성 면에서 뛰어나다.

ABSTRACT

Participatory budgeting engages the public in the process of allocating public money to different types of projects. PB designs differ in how voters are asked to express their preferences over candidate projects and how these preferences are aggregated to determine which projects to fund. This paper studies two fundamental questions in PB design. Which voting format and aggregation method to use, and how to evaluate the outcomes of these design decisions? We conduct an extensive empirical study in which 1 800 participants vote in four participatory budgeting elections in a controlled setting to evaluate the practical effects of the choice of voting format and aggregation rule. We find that k-approval leads to the best user experience. With respect to the aggregation rule, greedy aggregation leads to outcomes that are highly sensitive to the input format used and the fraction of the population that participates. The method of equal shares, in contrast, leads to outcomes that are not sensitive to the type of voting format used, and these outcomes are remarkably stable even when the majority of the population does not participate in the election. These results carry valuable insights for PB practitioners and social choice researchers.

연구 동기 및 목표

• 참여자 예산 편성(PB)에서 다양한 투표 형식과 집계 규칙이 사용자 경험과 선거 결과에 미치는 영향을 평가하는 것.
• 다양한 투표자들에게 적합한 사용성, 선호도 표현, 접근성의 균형을 이룰 수 있는 최적의 투표 형식을 특정하는 것.
• 참여 수준이 다양할 경우 탐욕적 집계와 동일 기여도 방법(ES) 간의 안정성과 공정성에 영향을 미치는 집계 방법의 특성을 평가하는 것.
• 참여도를 높이고 공정한 결과를 보장하기 위해 PB 이행자들이 증거 기반 설계 권고를 내리는 것.
• 특히 저참여 상황에서 다양한 집계 규칙을 사용할 경우 입력 형식 선택이 결과에 상당한 왜곡을 초래하는지 탐구하는 것.

제안 방법

• 아마존 메카니컬 터크를 통해 모집한 1,800명의 참가자와 함께 네 가지 다른 PB 선거에서 통제 실험을 실시함.
• 각 참가자에게 여섯 가지 투표 형식 중 하나를 할당: k-approval, points, knapsack, ranking, value-for-money, utility reporting.
• 작업 시간, 자가 평가된 사용성, 선호도 표현의 정확도 감지 정도를 측정하여 사용자 경험을 평가함.
• 모든 형식에서 동일한 후보 프로젝트와 투표자 선호도를 사용하여 비교 가능성을 확보하고, 집계된 투표를 투표자 유틸리티의 대체 지표로 간주함.
• 탐욕적(실무에서 일반적으로 사용됨)과 동일 기여도 방법(ES)이라는 두 가지 집계 규칙을 적용하여 형식과 참여 수준 간 결과를 비교함.
• 서브셋 참가자(25–50%)를 샘플링하여 각 집계 방법에서 자금 지원 프로젝트 집합이 변화하는지 측정함으로써 안정성 평가

Figure 1 : The GUI shown to participants using the Knap input format (center), showing the city map (right) and budget (left)

실험 결과

연구 질문

• RQ1 k-approval, points, knapsack, ranking, value-for-money, utility reporting 중 어느 투표 형식이 사용의 용이성, 학습 시간, 선호도 표현의 정확도 측면에서 가장 뛰어난 사용자 경험을 제공하는가?
• RQ2 참여도가 낮을 경우 탐욕적 집계와 동일 기여도 방법(ES) 간의 PB 결과 안정성과 공정성에 어떤 영향을 미치는가?
• RQ3 탐욕적 집계와 ES를 사용할 경우, 투표 형식 선택이 PB 선거 결과에 얼마나 민감하게 작용하는가?
• RQ4 다양한 입력 형식과 집계 방법 간에 선정된 프로젝트의 사회적 복지 수준은 어떻게 비교되는가?
• RQ5 참가자 수의 일부만 참여할 경우 자금 지원 프로젝트 집합은 얼마나 안정적인가? 이 안정성은 탐욕적 집계와 ES 집계 간에 다를까?

주요 결과

• k-approval 투표는 가장 뛰어난 사용자 경험을 제공함: 참가자들이 가장 짧은 시간 동안 학습하고 사용했으며, 가장 직관적이고 선호도 표현에 가장 정확하다고 평가함.
• 더 많은 선호도 정보를 포착하지 못함에도 불구하고, k-approval은 랭킹이나 유틸리티 보고와 같은 더 풍부한 형식보다 더 정확하다고 인식됨. 이는 단순성이 인식된 표현력 향상에 기여함을 시사함.
• 탐욕적 집계는 입력 형식과 참여 수준 양쪽 모두에 매우 민감함. 참여도가 100% 미만으로 떨어지자 결과가 크게 변화함.
• 동일 기여도 방법(ES)은 입력 형식에 관계없이 거의 동일한 프로젝트 집합을 도출함. 이는 강력한 형식 불변성과 강건성을 입증함.
• ES는 참가자 수가 25–50%에 불과할 때도 안정된 결과를 유지하며, 자금 지원 프로젝트 집합의 변화가 최소화됨. 반면 탐욕적 집계는 저참여 상황에서 매우 민감함.
• 탐욕적 집계와 ES는 사회적 복지 수준에서 유사한 성과를 보였지만, ES는 훨씬 뛰어난 안정성과 설계 선택에 대한 민감도 부족을 보여, 저참여 상황에서도 실질적인 PB에 더 적합함.

Figure 2 : Average time ( $s$ ) to complete each stage.