[논문 리뷰] Bayesian Tabulation Audits: Explained and Extended

Ronald L. Rivest|arXiv (Cornell University)|2018. 01. 02.

Sports Analytics and Performance참고 문헌 21인용 수 6

한 줄 요약

이 논문은 베이지안 표본 집계 감사—표본으로 뽑힌 투표용지의 통계적 분석을 통해 선거 결과의 정확성을 검증하는 방법—를 소개하고 확장한다. 이 방법은 보고된 승자가 올바른 확률을 베이지안 추론을 통해 추정함으로써, 복잡한 다층 구조의 선거(예: 종이 투표용지와 전자식 투표 기록이 혼합된 시스템)를 다룰 수 있으며, 자동으로 위험 수준을 측정하고 재현 가능한 결과를 제공한다.

ABSTRACT

Tabulation audits for an election provide statistical evidence that a reported contest outcome is "correct" (meaning that the tabulation of votes was properly performed), or else the tabulation audit determines the correct outcome. Stark proposed risk-limiting tabulation audits for this purpose; such audits are effective and are beginning to be used in practice. We expand the study of election audits based on Bayesian methods, first introduced by Rivest and Shen in 2012. (The risk-limiting audits proposed by Stark are "frequentist" rather than Bayesian in character.) We first provide a simplified presentation of Bayesian tabulation audits. A Bayesian tabulation audit begins by drawing a random sample of the votes in that contest, and tallying those votes. It then considers what effect statistical variations of this tally have on the contest outcome. If such variations almost always yield the previously-reported outcome, the audit terminates, accepting the reported outcome. Otherwise the audit is repeated with an enlarged sample. Bayesian audits are attractive because they work with any method for determining the winner (such as ranked-choice voting). We then show how Bayesian audits may be extended to handle more complex situations, such as auditing contests that \emph{span multiple jurisdictions}, or are otherwise "stratified." We highlight the auditing of such multiple-jurisdiction contests where some of the jurisdictions have an electronic cast vote record (CVR) for each cast paper vote, while the others do not. Complex situations such as this may arise naturally when some counties in a state have upgraded to new equipment, while others have not. Bayesian audits are able to handle such situations in a straightforward manner. We also discuss the benefits and relevant considerations for using Bayesian audits in practice.

연구 동기 및 목표

• 비통계학자 및 실무자에게 베이지안 표본 집계 감사를 간단하고 이해하기 쉽게 설명하기 위해.
• 다중 관할구역 선거에서 이질적인 투표 기술(예: 종이 투표용지, 전자식 투표 기록)을 다룰 수 있도록 베이지안 감사 방법을 확장하기 위해.
• 순위 선택 투표와 같은 다양한 투표 규칙을 지원할 수 있도록 베이지안 감사가 감사 논리의 변경 없이도 작동하도록 보여주기 위해.
• 다양한 관할구역에서 다른 표본 추출 비율을 허용함으로써 감사 관리의 유연성을 높여 실용적 실행 가능성을 향상시키기 위해.
• 후행 확률을 통한 자동 위험 측정을 통해 투명하고 재현 가능한 감사 과정을 제공하기 위해.

제안 방법

• 무작위로 추출된 투표용지의 표본을 바탕으로, 보고된 선거 결과가 올바를 확률을 베이지안 추론을 통해 후행 확률로 계산한다.
• 순차적 감사 정지 기준을 적용한다: 만약 보고된 결과의 후행 확률이 임계값(예: 95%)을 초과하면 감사를 종료한다.
• 표본에 포함되지 않은 투표용지를 생성 모델을 사용해 모델링하여 불확실성 하에 가능한 집계 결과를 시뮬레이션함으로써 위험 추정을 가능하게 한다.
• 표본 변동에 의한 결과의 안정성을 평가하기 위해, 투표 수에 미세한 변동을 가하는 퍼징 기법을 적용한다.
• 다양한 관할구역으로 나누어진 투표용지를 각각 독립적으로 모델링함으로써 다층 감사를 지원한다. 이는 CVR이 있는 지역과 없는 지역을 혼합하여 처리할 수 있음을 의미한다.
• 시뮬레이션 기반 계산을 통해 테스트용 비표본 집계 결과를 생성하고, 다른 결과가 발생할 확률을 추정한다.

실험 결과

연구 질문

• RQ1 베이지안 표본 집계 감사는 통계적 엄밀함을 유지하면서도 비전문가가 이해할 수 있도록 어떻게 단순화하고 접근 가능하게 만들 수 있는가?
• RQ2 일부 관할구역은 전자식 투표 기록(CVR)이 있고 다른 일부는 없는 다중 관할구역 선거에서 베이지안 감사가 효과적으로 작동할 수 있는가?
• RQ3 유의미한 유연성, 투명성, 계산 자원 요구량 측면에서 베이지안 감사와 흔히 사용되는 빈도주의 위험 제한 감사 간의 비교는 어떠한가?
• RQ4 자원 제약로 인해 조기에 종료된 경우에도 베이지안 감사가 의미 있고 해석 가능한 위험 추정치를 제공할 수 있는가?
• RQ5 단일 감사 과정에서 다양한 관할구역 간에 표본 추출 비율을 다르게 적용할 경우 실질적인 영향은 무엇인가?

주요 결과

• 베이지안 표본 집계 감사는 결과 결정 과정을 블랙박스로 간주하기 때문에, 순위 선택 투표를 포함한 어떤 투표 규칙이라도 처리할 수 있다.
• 이 방법은 CVR이 있는 지역과 없는 지역을 혼합하여 다룰 수 있으며, 통일된 감사 절차가 필요하지 않다.
• 감사는 자동으로 해석 가능한 위험 측정치를 제공한다: 보고된 결과가 잘못되었을 확률의 후행 확률이며, 이는 감사가 조기에 종료된 경우에도 보고될 수 있다.
• 표본 추출 비율이 관할구역 간으로 다를 필요가 없어 감사 관리가 간소화되며, 표적화되고 효율적인 표본 추출이 가능해진다.
• 감사 과정은 완전히 재현 가능하다: 제3자 전문가들은 공개된 감사 데이터와 공개된 난수 시드를 사용해 결과를 재검증할 수 있다.
• 수작업 투표용지 집계에 비해 계산적으로 경량이므로, 대규모 감사에 실용적으로 적용할 수 있다.