[논문 리뷰] Limiting Risk by Turning Manifest Phantoms into Evil Zombies

Jorge H. Banuelos, Philip B. Stark|arXiv (Cornell University)|2012. 07. 14.

Benford’s Law and Fraud Detection참고 문헌 12인용 수 9

한 줄 요약

이 논문은 '유령을 악의 죽은 자들로' 간주하여 낙선 후보자에게 유리하게 작용하는 것으로 간주하는 방식으로 위험 한도 감소 감사를 향상시키는 2EZ(Phantoms to Evil Zombies) 방법을 소개한다. 이 방법은 총 투표수의 상한선 $N_U$ 에서 균일하게 표본을 추출하고, 검증 불가능하거나 존재하지 않는 표를 '악의 죽은 자들'(P-값을 최대한 높이는 방식으로 설계된 표)로 대체함으로써, 표준 명세서 오류가 있을 경우에도 감사가 항상 보수적으로 유지되도록 보장한다. 이로 인해 실제 위험 한도가 명시된 위험 한도 이하로 유지되며, 필요에 따라 자동으로 감사 작업량이 증가한다.

ABSTRACT

Drawing a random sample of ballots to conduct a risk-limiting audit generally requires knowing how the ballots cast in an election are organized into groups, for instance, how many containers of ballots there are in all and how many ballots are in each container. A list of the ballot group identifiers along with number of ballots in each group is called a ballot manifest. What if the ballot manifest is not accurate? Surprisingly, even if ballots are known to be missing from the manifest, it is not necessary to make worst-case assumptions about those ballots--for instance, to adjust the margin by the number of missing ballots--to ensure that the audit remains conservative. Rather, it suffices to make worst-case assumptions about the individual randomly selected ballots that the audit cannot find. This observation provides a simple modification to some risk-limiting audit procedures that makes them automatically become more conservative if the ballot manifest has errors. The modification--phantoms to evil zombies (~2EZ)--requires only an upper bound on the total number of ballots cast. ~2EZ makes the audit P-value stochastically larger than it would be had the manifest been accurate, automatically requiring more than enough ballots to be audited to offset the manifest errors. This ensures that the true risk limit remains smaller than the nominal risk limit. On the other hand, if the manifest is in fact accurate and the upper bound on the total number of ballots equals the total according to the manifest, ~2EZ has no effect at all on the number of ballots audited nor on the true risk limit.

연구 동기 및 목표

• 누락된 표 또는 잘못 그룹화된 표로 인해 정확하지 않은 표명서가 위험 한도 감소 감사의 유효성을 해칠 수 있는 위험을 해결하기 위해.
• 오류의 크기를 사전에 알지 못하더라도, 표명서 오류가 존재할 경우 자동으로 감사의 보수성을 높이는 방법을 개발하기 위해.
• 표명서가 잘못되었거나 불완전하더라도 실제 위험 한도가 명시된 위험 한도 이하로 유지되도록 보장하기 위해.
• 기존의 표 수준 비교 감사 및 표 품질 감사에 최소한의 수정만을 가하여 통계적 엄밀함을 유지하면서도 표명서의 불확실성 하에서도 유의미한 방법을 제공하기 위해.

제안 방법

• 표명서의 총 수 $N_M$ 이 아니라 총 투표수의 상한선 $N_U$ 에서 균일하게 임의로 표본을 추출한다.
• 표명서에 존재하지 않는 표(가짜 표)가 추출된 경우, P-값을 최대한 높이는 방식으로 설계된 '악의 죽은 자' 표로 대체한다.
• 표 수준 비교 감사의 경우, 악의 죽은 자 표는 보고된 낙선 후보자에게 2표의 과대평가로 간주한다. 표 품질 감사의 경우, 악의 죽은 자 표는 모든 낙선 후보자에게 유효한 표로 간주한다.
• 이 대체 조치는 정확한 표명서가 있을 경우보다 P-값이 확률적으로 더 크게 되도록 보장하여, 결과가 잘못되었을 경우 전체 수동 검증으로 이어질 가능성을 높인다.
• 핵심 감사 절차를 수정하지 않고 적용되며, 총 투표수의 상한선과 표명서만 필요하다.
• 표명서가 정확하지 않더라도 실제 위험 한도가 명시된 위험 한도를 초과하지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 누락되거나 잘못 그룹화된 표로 인해 표명서가 정확하지 않을 경우, 위험 한도 감소 감사는 어떻게 보수적으로 유지될 수 있는가?
• RQ2 기존 감사 절차에 최소한의 수정을 가해도 표명서 오류가 존재하더라도 유효한 감사가 유지되도록 하기 위해 필요한 최소한의 변경은 무엇인가?
• RQ3 오류의 크기를 사전에 알지 못하더라도, 감사의 P-값을 확률적으로 증가시켜 표명서 오류를 자동으로 반영할 수 있는가?
• RQ4 낙선 후보자에게 유리하게 작용하는 '악의 죽은 자'로 가짜 표를 대체하는 것은 감사의 위험 한도 감소 성질을 유지하는가?
• RQ5 2EZ 방법이 감사 작업량이나 위험 한도에 영향을 주지 않는 조건은 무엇인가?

주요 결과

• 2EZ 방법은 표명서가 정확하지 않더라도 명시된 위험 한도가 실제 위험 한도보다 작아지지 않도록 보장한다.
• 표명서가 정확하고 상한선 $N_U$ 가 실제 투표 수 $N_O$ 와 일치할 경우, 2EZ 방법은 감사의 작업량이나 위험 한도에 영향을 주지 않는다.
• 표명서에 표가 누락되어 있을 경우, 2EZ 방법은 정확한 표명서가 있을 경우보다 P-값이 확률적으로 더 크게 만들어져 감사가 전체 수동 검증으로 이어질 가능성을 높인다.
• 표명서가 잘못되었을 경우 자동으로 더 많은 표를 감사 대상으로 삼음으로써, 명시된 위험 한도를 초과하지 않도록 보장한다.
• 검증 불가능하거나 존재하지 않는 표를 낙선 후보자에게 유리하게 작용하는 악의 죽은 자로 간주함으로써, 모든 가능한 표명서 오류를 보수적으로 반영한다.
• 이 방법은 표 수준 비교 감사와 표 품질 감사 모두에 적용 가능하며, 총 투표수의 상한선과 표명서만 필요하다.