[論文レビュー] Next Steps for the Colorado Risk-Limiting Audit (CORLA) Program

Mark Lindeman, Neal McBurnett+2 more|arXiv (Cornell University)|Mar 2, 2018

Internet Traffic Analysis and Secure E-voting被引用数 8

ひとこと要約

本論文は、キャスト・ボート・レコード（CVR）のある・ないjurisdictionを含む多郡集計の選挙に対して、ボールット・ポーリングとボールット・レベル比較監査を組み合わせたハイブリッドなリスク制限監査手法を提案する。これにより、全州的な監査を効率的に行える。ストラティフィケーション・サンプリングと可変サイズのバッチ比較を導入することで、統計的厳密性を保ちながら監査作業負荷を削減し、シミュレーションにより純粋なボールット・ポーリング手法と比較して、検査するボールット数を最大90%まで削減できることが示された。

ABSTRACT

Colorado conducted risk-limiting tabulation audits (RLAs) across the state in 2017, including both ballot-level comparison audits and ballot-polling audits. Those audits only covered contests restricted to a single county; methods to efficiently audit contests that cross county boundaries and combine ballot polling and ballot-level comparisons have not been available. Colorado's current audit software (RLATool) needs to be improved to audit these contests that cross county lines and to audit small contests efficiently. This paper addresses these needs. It presents extremely simple but inefficient methods, more efficient methods that combine ballot polling and ballot-level comparisons using stratified samples, and methods that combine ballot-level comparison and variable-size batch comparison audits in a way that does not require stratified sampling. We conclude with some recommendations, and illustrate our recommended method using examples that compare them to existing approaches. Exemplar open-source code and interactive Jupyter notebooks are provided that implement the methods and allow further exploration.

研究の動機と目的

• CVRのない郡（ボールット・ポーリングが必要）とCVRのある郡（ボールット・レベル比較可能）を含む全州選挙のための、効率的な統計的監査手法の不足を是正すること。
• コロラド州のRLAToolソフトウェアを改善し、郡境を越える選挙の監査を可能とし、小規模な選挙の監査を効率的に行えるようにすること。
• ストラティフィケーション・サンプリングを必要としないボールット・ポーリングとボールット・レベル比較監査の組み合わせ手法を開発し、柔軟性と効率性を向上させること。
• 実用的実装と手法の探索を可能にするオープンソースのツールとJupyterノートブックを提供すること。

提案手法

• 監査対象母集団をCVR有り・無しのストラタに分けるためのストラティフィケーション・サンプリングを用い、利用可能なデータに応じて各ストラタに異なる監査手法を適用する。
• CVRストラタではボールット・レベル比較監査、no-CVRストラタではボールット・ポーリング監査を実施し、各ストラタにリスク制限と過大誤差許容値を割り当てる。
• ストラティフィケーション・サンプリングを必要としないボールット・レベル比較と可変サイズバッチ比較の組み合わせ手法を導入し、ソフトウェア実装の効率性を向上させる。
• 希釈マージンとリスク制限に基づく統計的境界を用いて必要なサンプルサイズを決定し、各ストラタにおける過大誤差を調整する。
• シミュレーションを用いた作業負荷推定により、ストラタ間でのマージンとリスク制限の割り当て戦略ごとの監査効率を比較する。
• 提案手法のワークフローを実装・探索できるオープンソースのJupyterノートブックと例示コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 CVR郡とno-CVR郡を含む全州選挙に対して、どのようにして効率的なリスク制限監査を実施できるか？
• RQ2 CVRストラタとno-CVRストラタ間でリスク制限と過大誤差許容値を最適に割り当てると、監査作業負荷を最小化できるか？
• RQ3 ストラティフィケーション・サンプリングを必要としないボールット・ポーリングとボールット・レベル比較監査のハイブリッド手法を設計できるか？
• RQ4 現実の選挙状況下で、ハイブリッド監査の作業負荷は、純粋なボールット・ポーリングまたは純粋なボールット・レベル比較監査と比べてどの程度か？
• RQ5 サンプルサイズとマージンの割り当てが、監査を早期に終了させる確率に与える影響は何か？

主な発見

• 11万枚のボールットと1.8%のマージンを持つ中規模選挙において、ハイブリッド監査ではno-CVRストラタで450枚のボールットを検査するだけで、最悪ケースの仮定下で99%の確率で監査を終了できた。これは、全数検査と比較して顕著な削減である。
• 200万枚のボールットと20%のマージンを持つ大規模な全州選挙において、有利な条件下でCVRストラタでは50枚、no-CVRストラタでは100枚のボールットを検査するだけで、99%の確率で監査を終了できた。
• CVRストラタの監査が全数検査に拡大する場合、no-CVRストラタの監査は再実施が必要となり、過大誤差許容値を再調整する必要がある。その結果、両ストラタで全数再検査が発生する。
• ハイブリッド手法により、純粋なボールット・ポーリング手法と比較して監査作業負荷を最大90%まで削減できた。これは、ボールット・レベル比較監査の高い効率性と、各ストラタにおけるリスク制限の低減によるものである。
• この手法はマージン割り当てに対して頑健である。作業負荷はリスク制限の割り当てよりも過大誤差許容値の割り当てにより敏感である。
• オープンソースのJupyterノートブックにより、さまざまな選挙規模、マージン、割り当て戦略における監査作業負荷のシミュレーションと推定が可能である。