[論文レビュー] Limiting Risk by Turning Manifest Phantoms into Evil Zombies

Jorge H. Banuelos, Philip B. Stark|arXiv (Cornell University)|Jul 14, 2012

Benford’s Law and Fraud Detection参考文献 12被引用数 9

ひとこと要約

本稿では、欠落またはフェイクボールトを、敗北候補者に均等に有利であるかのように扱うことで、リスク制限監査を強化する『 Phantom to Evil Zombies (2EZ) 』手法を紹介する。全ボールト数の上限 $N_U$ から一様にサンプリングし、検証不能または存在しないボールトを『悪魔のゾンビ』—P値を最大限に引き上げるボールト—に置き換えることで、マニフェストの誤りがあっても監査が保守的であることを保証する。これにより、名目上のリスク制限を維持しながら、必要な場合に自動的に監査作業量を増加させる。

ABSTRACT

Drawing a random sample of ballots to conduct a risk-limiting audit generally requires knowing how the ballots cast in an election are organized into groups, for instance, how many containers of ballots there are in all and how many ballots are in each container. A list of the ballot group identifiers along with number of ballots in each group is called a ballot manifest. What if the ballot manifest is not accurate? Surprisingly, even if ballots are known to be missing from the manifest, it is not necessary to make worst-case assumptions about those ballots--for instance, to adjust the margin by the number of missing ballots--to ensure that the audit remains conservative. Rather, it suffices to make worst-case assumptions about the individual randomly selected ballots that the audit cannot find. This observation provides a simple modification to some risk-limiting audit procedures that makes them automatically become more conservative if the ballot manifest has errors. The modification--phantoms to evil zombies (~2EZ)--requires only an upper bound on the total number of ballots cast. ~2EZ makes the audit P-value stochastically larger than it would be had the manifest been accurate, automatically requiring more than enough ballots to be audited to offset the manifest errors. This ensures that the true risk limit remains smaller than the nominal risk limit. On the other hand, if the manifest is in fact accurate and the upper bound on the total number of ballots equals the total according to the manifest, ~2EZ has no effect at all on the number of ballots audited nor on the true risk limit.

研究の動機と目的

• 欠落したボールトや誤ったグループ化によって生じる不正確なボールトマニフェストが、リスク制限監査の有効性を損なうリスクに対処すること。
• 誤差の大きさを事前に把握しないまま、マニフェスト誤差が存在する場合に自動的に監査の保守性を高める手法を開発すること。
• マニフェストが不正確または不完全であっても、真のリスク制限が名目上のリスク制限を超えないように保証すること。
• 既存のボールトレベルの比較監査およびボールトポーリング監査に対して、最小限の変更で実用的かつ統計的厳密性を維持する、最小限の変更による強化を提供すること。

提案手法

• 全ボールト数の上限 $N_U$ から一様にランダムにサンプリングする。マニフェストの合計 $N_M$ ではなく、これを利用する。
• サンプリングされたボールト番号がマニフェストに存在しない（フェイクボールトの場合）には、P値を最大限に引き上げる『悪魔のゾンビ』ボールトに置き換える。
• ボールトレベルの比較監査では、悪魔のゾンビは報告された敗北候補者に対して2票の過大評価として扱われる。ボールトポーリング監査では、すべての敗北候補者に対して有効票として扱われる。
• この置き換えにより、正しいマニフェストの場合よりもP値が確率的に大きくなる。これにより、結果が誤っている場合にフルハンドカウントがトリガーされる可能性が高まる。
• コア監査手順を変更せずに適用可能であり、全ボールト数の上限とマニフェストのみが必要である。
• 誤ったマニフェストであっても、真のリスク制限が名目上のリスク制限を超えないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 欠落または誤ったグループ化によるボールトマニフェストの不正確さによって、リスク制限監査が保守的でなくなるリスクはどのように回避できるか？
• RQ2 既存の監査手順に最小限の変更を加えることで、マニフェスト誤差下でも有効な監査を保証するにはどうすればよいか？
• RQ3 誤差の大きさを事前に知らずに、P値を確率的に引き上げる方法は存在するか？ これによりマニフェスト誤差が自動的に反映されるか？
• RQ4 敗北候補者に有利な『悪魔のゾンビ』にフェイクボールトを置き換えることで、監査のリスク制限性が保たれるか？
• RQ5 2EZ手法が監査作業量やリスク制限に影響を及ぼさない条件は何か？

主な発見

• 2EZ手法により、ボールトマニフェストが不正確であっても、名目上のリスク制限が真のリスク制限を超えないことが保証される。
• マニフェストが正しい場合で、かつ上限 $N_U$ が実際のボールト数 $N_O$ と等しい場合、2EZ手法は監査の作業量やリスク制限に影響を及ぼさない。
• マニフェストにボールトが欠落している場合、2EZ手法は正しいマニフェストと比較してP値を確率的に引き上げる。これにより、結果が誤っている場合にフルハンドカウントに進む可能性が高まる。
• マニフェストが誤っている場合に自動的に監査対象ボールト数を増加させることで、名目上のリスク制限を超えないように保証される。
• 検証不能または存在しないボールトを、敗北候補者に有利な『悪魔のゾンビ』として扱うことで、すべての可能なマニフェスト誤差を保守的に扱える。
• このアプローチは、ボールトレベルの比較監査およびボールトポーリング監査の両方へ適用可能であり、全ボールト数の上限とマニフェストのみが必要である。