[논문 리뷰] Neutralizing Self-Selection Bias in Sampling for Sortition

Bailey Flanigan, Paul Gölz외 2명|arXiv (Cornell University)|2020. 06. 18.

Electoral Systems and Political Participation참고 문헌 23인용 수 8

한 줄 요약

이 논문은 자발적 참가자 풀에서의 자기선택 편향을 중화하기 위해, 자발적 참가자 풀 내의 각 개인에게 균일한 비복원 표본 추출을 근사하는 校정된 선택 확률을 부여하는 표본 추출 알고리즘을 제안한다. 설문조사 데이터에서 참가 확률을 학습하고 거부 기반 표본 추출 방법을 사용함으로써, 특히 대표성이 떨어지는 하위 집단들까지도 끝에서 끝까지 근사 동일한 선택 확률을 보장하여, 낮은 참가율 조건에서도 공정성과 인구 통계적 대표성을 달성한다.

ABSTRACT

Sortition is a political system in which decisions are made by panels of randomly selected citizens. The process for selecting a sortition panel is traditionally thought of as uniform sampling without replacement, which has strong fairness properties. In practice, however, sampling without replacement is not possible since only a fraction of agents is willing to participate in a panel when invited, and different demographic groups participate at different rates. In order to still produce panels whose composition resembles that of the population, we develop a sampling algorithm that restores close-to-equal representation probabilities for all agents while satisfying meaningful demographic quotas. As part of its input, our algorithm requires probabilities indicating how likely each volunteer in the pool was to participate. Since these participation probabilities are not directly observable, we show how to learn them, and demonstrate our approach using data on a real sortition panel combined with information on the general population in the form of publicly available survey data.

연구 동기 및 목표

• 초대된 시민 중 소수만 자발적으로 참가하는 자기선택 편향으로 인해 발생하는 정렬 페널 선택의 공정성 문제를 해결한다.
• 기존의 탐욕적 할당 기반 알고리즘이 개인의 선택 확률을 제어하지 못하고 교차적 인구 통계적 집단을 체계적으로 저항하는 데 실패하는 한계를 극복한다.
• 자신의 참여 확률을 학습하여, 참가자가 일부에 불과한 상황에서도 인구 전반의 모든 개인이 근사 균일한 선택 확률을 회복할 수 있는 원칙적인 방법을 개발한다.
• 특히 교차적 특성으로 정의된 대표성이 떨어지는 하위 집단들에 대해 공정성을 유지하면서도, 인구 통계적 할당 기준을 충족시킨다.
• 영국 기후의회에서 수집한 실제 데이터를 활용하여 접근의 타당성과 효과성을 입증하며, 기후에 대한 우려 수준이라는 새로운 기능을 도입한다.

제안 방법

• 공개된 설문조사 데이터와 관찰된 자발적 참가자 풀 데이터를 기반으로 배경 인구 내 각 개인의 참여 확률을 학습한다.
• 추정된 참여 확률 비례로 배경 개인을 복제하여 대규모이고 대표적인 풀을 시뮬레이션하는 가짜 인구를 구성한다.
• 각 개인의 선택 확률을 그들의 추정된 참여 가능성에 따라 조정하는 거부 기반 표본 추출 기법을 사용하여 참가자 풀에서 페널을 추출한다.
• 성별, 연령, 지역, 기후에 대한 우려 수준 등의 상호수직적 특성에 대해 인구 통계적 할당 기준을 강제 적용하며, 공정성 보장을 유지하는 제약 조건이 있는 표본 추출 절차를 사용한다.
• 세 가지 핵심 조건(할당 기준 준수, 끝에서 끝까지의 확률 경계, 충분한 풀 크기)을 충족하는 풀만 수락하도록 임계값 기반의 거부 규칙을 적용한다.
• 다수의 시뮬레이션된 풀을 평균하여 끝에서 끝까지의 선택 확률을 계산함으로써, 모든 개인이 이상적인 $k/n$에 매우 가까운 선택 확률을 확보한다.

실험 결과

연구 질문

• RQ1 자신의 참여 확률을 학습하고 거부 표본 추출을 사용함으로써, 자발적 참가자 풀에서의 자기선택 편향이 존재하더라도 모든 개인이 균일한 선택 확률을 가지는 정렬 페널 표본 추출 알고리즘을 설계할 수 있는가?
• RQ2 특히 교차적 하위 집단에 대해 개인 수준의 공정성을 유지하면서도, 인구 통계적 할당 기준을 충족시킬 수 있는가?
• RQ3 모든 개인이 근사 균일한 끝에서 끝까지의 선택 확률을 확보하기 위해 필요한 최소한의 풀 크기 $ r $ 는 얼마인가?
• RQ4 참여 확률 추정치가 결과 페널의 공정성과 대표성에 어떤 영향을 미치는가?
• RQ5 기후에 대한 우려 수준과 같은 추가 기능을 포함할 경우, 표본 추출 과정의 타당성과 공정성에 어떤 영향을 미치는가?

주요 결과

• 모든 개인이 $ r \geq 15,000 $ 인 경우, 끝에서 끝까지의 선택 확률이 $ k/n $ 에 매우 가까워지며, 이는 공정성 복원이 효과적으로 이루어졌음을 시사한다.
• 기후에 대한 우려 수준 기능을 포함할 경우, 오직 매우 큰 $ r $ 값들(예: $ r \approx 60,000 $)에서만 비로소 끝에서 끝까지의 선택 확률이 0이 아닌 값으로 나타나며, 그런 풀은 매우 희귀하다.
• 기후에 대한 우려 수준 기능이 포함된 경우, 탐욕적 알고리즘이 랜덤 풀의 75.4%에서 유효한 페널을 찾지 못하며, 이는 '전혀 우려하지 않는' 개인에 대한 하한 할당 기준 위반 때문이었다.
• $ r = 11,000 $ 인 경우, 거의 모든 풀이 '나쁜' 풀로 간주되며, 이는 끝에서 끝까지의 확률 경계 위반(식 3)으로 인해 모든 개인의 끝에서 끝까지의 선택 확률이 근사 0에 가까워지기 때문이다.
• $ r = 11,000 $ 에서 $ r = 12,000 $ 으로의 전이에서 끝에서 끝까지의 선택 확률에 급격한 불연속성이 나타나며, 이는 공정성에 대한 임계 임계값임을 시사한다.
• 학습된 참여 가능성에 기반한 선택 확률 校정을 통해, 성별, 연령, 지역, 교차적 집단을 포함한 여러 인구 통계적 특성에 대해 공정성과 할당 기준 준수를 성공적으로 유지한다.