[논문 리뷰] Auditing Australian Senate Ballots

Berj Chilingirian, Zara Perumal외 7명|arXiv (Cornell University)|2016. 10. 01.

Internet Traffic Analysis and Secure E-voting참고 문헌 10인용 수 4

한 줄 요약

이 논문은 호주 senat 선거의 전자 선호도 데이터 파일의 정확성을 검증하기 위해 베이지안, 상한선, 고정 표본, 조건부 위험 제한 감사의 네 가지 통계적 감사 방법을 제안한다. 수작업으로 세어진 종이 표본과 비교함으로써, 이는 오류를 높은 신뢰도로 탐지할 수 있음을 보여주며, 방법과 원하는 확신 수준에 따라 표본 크기는 약 16,000에서 250,000 표본 사이로 변동한다.

ABSTRACT

We explain why the Australian Electoral Commission should perform an audit of the paper Senate ballots against the published preference data files. We suggest four different post-election audit methods appropriate for Australian Senate elections. We have developed prototype code for all of them and tested it on preference data from the 2016 election.

연구 동기 및 목표

• 호주에서 자동화된 상원 투표 시스템에서 신뢰할 수 있는 후보 검증 절차가 부족한 문제를 해결하기 위해.
• 공개된 전자 데이터와 종이 표본을 대조하여 선거 결과가 유권자 의지에 정확히 반영되었는지 확인하기 위해.
• 상원 개표 과정에서 오류나 조작을 탐지할 수 있는 소프트웨어 독립적 감사 기법을 개발하기 위해.
• 실제 선거나 선거 도전에 활용 가능한 실용적이고 실행 가능한 감사 방법을 제공하기 위해.
• 현대 전자 투표 계산 기술에 맞추어 전통적인 검토 방식을 업데이트하기 위해.

제안 방법

• 베이지안 감사, 상한선 마진 감사, 고정 표본 감사, 조건부 위험 제한 감사의 네 가지 감사 방법을 제안한다.
• 공식 선호도 데이터 파일의 무작위 표본을 추출하여 해당되는 종이 표본을 수작업으로 검증한다.
• 전자 기록을 물리적 표본과 직접 비교하는 표본 수준 비교 감사를 활용한다.
• 통계적 추론을 적용하여 오류율과 보고된 결과에 대한 신뢰도를 추정한다.
• 위험 제한 감사에서 순차적 검사를 적용하여 오류가 발견되면 표본을 확대한다.
• 모든 방법을 GitHub와 PyPI에 공개된 오픈소스 파이썬 코드로 구현하여 즉시 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 통계적 감사가 호주 상원 전자 선호도 데이터 파일의 오류를 높은 신뢰도로 탐지할 수 있는가?
• RQ2 다양한 감사 방법에서 밀접한 상원 선거에서 신뢰할 수 있는 결과를 얻기 위해 필요한 표본 크기는 얼마인가?
• RQ3 오류나 조작에 대한 신뢰를 확보하기 위해 소프트웨어 독립적인 방식으로 감사를 수행할 수 있는가?
• RQ4 특정 가능한 대안 결과, 예를 들어 최종 두 후보의 순위가 바뀌는 경우에 집중할 수 있는 감사 설계는 가능한가?
• RQ5 이러한 감사를 실제로 호주 상원 선거에서 구현하는 데 실용성이 있는가?

주요 결과

• 타즈마니아 2016년 상원 선거에 대한 베이지안 감사는 공식 결과와 결과가 일치할 가능성이 95% 이상이 되기 위해 약 250,000장의 종이 표본이 필요하다.
• 2,500장의 표본을 추출한 '부정적' 감사에서는 세 개 이상의 오류가 발견되면 결과에 영향을 줄 수 있는 높은 오류율을 탐지할 수 있으며, 이 경우 오류 범위에 대해 95%의 신뢰도를 확보할 수 있다.
• 500~1,000장의 표본을 사용한 고정 표본 감사는 타즈마니아 2016년 상원 선거에 대해 의미 있는 결론을 이끌어내기에는 부족하지만, 상대적으로 덜 밀접한 경선에서는 유용할 수 있다.
• 5% 위험 한계를 갖는 조건부 위험 제한 감사는 오류가 발견되지 않았을 경우 약 16,000장의 표본을 점검해야 하며, 이는 최종 마진이 작을 경우를 전제로 한다.
• 모든 제안된 감사 방법은 공개된 소스 코드를 통해 즉시 구현 가능하며, GitHub와 PyPI에서 도구를 이용할 수 있다.
• 감사자가 편향을 일으키지 않도록 하기 위해, 수작업으로 종이 표본을 세는 작업이 끝난 후에야 전자 결과를 공개하도록 감사 절차를 설계해야 한다.