[논문 리뷰] Next Steps for the Colorado Risk-Limiting Audit (CORLA) Program

Mark Lindeman, Neal McBurnett외 2명|arXiv (Cornell University)|2018. 03. 02.

Internet Traffic Analysis and Secure E-voting인용 수 8

한 줄 요약

이 논문은 투표 기록이 있는(이하 CVR) 및 없는(이하 no-CVR) 선거구를 포함하는 다중 선거구 경선에 대해, 투표지 품질 검사와 투표지 수준 비교 검사의 하이브리드 리스크 제한 감사 방법을 제안한다. 이는 전국적 규모의 감사를 효율적으로 수행할 수 있도록 하며, 표본 분류 및 가변 크기의 배치 비교를 통해 감사 작업량을 줄이면서도 통계적 엄밀함을 유지한다. 시뮬레이션 결과, 순수한 투표지 품질 검사 방법 대비 최대 90% 감소한 표본 수를 확인할 수 있었다.

ABSTRACT

Colorado conducted risk-limiting tabulation audits (RLAs) across the state in 2017, including both ballot-level comparison audits and ballot-polling audits. Those audits only covered contests restricted to a single county; methods to efficiently audit contests that cross county boundaries and combine ballot polling and ballot-level comparisons have not been available. Colorado's current audit software (RLATool) needs to be improved to audit these contests that cross county lines and to audit small contests efficiently. This paper addresses these needs. It presents extremely simple but inefficient methods, more efficient methods that combine ballot polling and ballot-level comparisons using stratified samples, and methods that combine ballot-level comparison and variable-size batch comparison audits in a way that does not require stratified sampling. We conclude with some recommendations, and illustrate our recommended method using examples that compare them to existing approaches. Exemplar open-source code and interactive Jupyter notebooks are provided that implement the methods and allow further exploration.

연구 동기 및 목표

• CVR가 있는 선거구(투표지 수준 비교가 가능한)와 없는 선거구(투표지 품질 검사가 필요함)를 포함하는 전주지 선거의 효율적인 통계적 감사 방법 부족 문제를 해결하기 위해.
• 코로라도 주의 RLATool 소프트웨어를 개선하여 선거구를 넘는 경선 감사를 지원하고, 소규모 경선의 효율적 감사를 가능하게 하기 위해.
• 표본 분류가 필요 없이 투표지 품질 검사와 투표지 수준 비교 검사를 융합하는 방법을 개발하여 유연성과 효율성을 높이기 위해.
• 실제 구현과 방법 탐색을 위한 오픈소스 도구와 Jupyter 노트북을 제공하기 위해.

제안 방법

• 감사 대상 인구를 CVR 및 no-CVR로 나누는 표본 분류 기법을 사용하여, 각각의 표본 집단에 대해 가용한 데이터에 따라 다른 감사 방법을 적용한다.
• CVR 집단에는 투표지 수준 비교 감사를, no-CVR 집단에는 투표지 품질 검사 감사를 적용하며, 각 집단에 리스크 한도와 과대평가 허용 오차를 할당한다.
• 표본 분류가 필요 없이 투표지 수준 비교 감사와 가변 크기의 배치 비교 감사를 융합하는 방법을 도입하여 소프트웨어 구현의 효율성을 향상시킨다.
• 희생률과 리스크 한도에 기반한 통계적 경계를 사용하여 필요한 표본 크기를 결정하며, 각 집단의 과대평가 오차를 고려해 조정한다.
• 시뮬레이션 기반 작업량 추정을 통해, 서로 다른 집단 간의 마진과 리스크 한도 할당 전략에 따른 감사 효율성을 비교한다.
• 제안된 감사 워크플로우를 구현하고 탐색하기 위한 오픈소스 Jupyter 노트북과 예시 코드를 제공한다.

실험 결과

연구 질문

• RQ1 CVR 및 no-CVR 선거구를 포함하는 전주지 경선에 대해, 어떻게 효율적인 리스크 제한 감사를 수행할 수 있는가?
• RQ2 CVR 및 no-CVR 집단 간의 리스크 한도와 과대평가 허용 오차를 최적의 비율로 할당하면 감사 작업량을 최소화할 수 있는가?
• RQ3 표본 분류가 필요 없이 투표지 품질 검사와 투표지 수준 비교 감사를 융합한 하이브리드 감사를 설계할 수 있는가?
• RQ4 실제 선거 조건 하에서 하이브리드 감사의 작업량은 순수한 투표지 품질 검사 또는 순수한 투표지 수준 비교 감사와 비교해 어떻게 되는가?
• RQ5 표본 크기와 마진 할당이 조기 감사 종료 확률에 어떤 영향을 미치는가?

주요 결과

• 11만 5천 표의 중간 규모 선거에서 1.8%의 마진을 가진 경우, 하이브리드 감사는 no-CVR 집단에서 450표만 검토해도 최대 99% 확률로 종료되었으며, 악성 가정 하에서의 전수 검사 대비 유의미한 감소를 보였다.
• 200만 표의 대규모 전주지 선거에서 20%의 마진을 가진 경우, 유리한 조건 하에서 CVR 집단에서는 50표, no-CVR 집단에서는 100표만 검토해도 99% 확률로 종료되었다.
• CVR 집단의 감사가 전수 검사로 확대될 경우, no-CVR 집단의 감사도 조정된 과대평가 허용 오차를 반영해 재검토되어 양쪽 모두에서 전수 재검사가 발생할 수 있다.
• 순수한 투표지 품질 검사 대비 하이브리드 방법은 최대 90%의 감사 작업량 감소를 이끌었으며, 이는 투표지 수준 비교 감사의 높은 효율성과 각 집단의 낮은 리스크 한도 할당 덕분이었다.
• 이 방법은 마진 할당에 대해 강건하며, 작업량은 리스크 한도 할당보다 과대평가 허용 오차에 더 민감하다.
• 오픈소스 Jupyter 노트북을 통해 다양한 경선 규모, 마진, 할당 전략에 대해 감사 작업량을 시뮬레이션하고 추정할 수 있다.