[論文レビュー] Bayesian Tabulation Audits: Explained and Extended

Ronald L. Rivest|arXiv (Cornell University)|Jan 2, 2018

Sports Analytics and Performance参考文献 21被引用数 6

ひとこと要約

この論文は、ベイジアンテーブレーション監査—選挙結果の検証のための統計的手法であり、ボールットをサンプリングし、ベイズ推論を用いて報告された勝者である確率を推定する—を導入および拡張する。この手法は、紙のボールットと電子的キャスト・ボート・レコード（CVR）を併用する混合投票技術を有する複雑で階層的な選挙を扱えることを示し、自動リスク測定と再現可能な結果を提供する。

ABSTRACT

Tabulation audits for an election provide statistical evidence that a reported contest outcome is "correct" (meaning that the tabulation of votes was properly performed), or else the tabulation audit determines the correct outcome. Stark proposed risk-limiting tabulation audits for this purpose; such audits are effective and are beginning to be used in practice. We expand the study of election audits based on Bayesian methods, first introduced by Rivest and Shen in 2012. (The risk-limiting audits proposed by Stark are "frequentist" rather than Bayesian in character.) We first provide a simplified presentation of Bayesian tabulation audits. A Bayesian tabulation audit begins by drawing a random sample of the votes in that contest, and tallying those votes. It then considers what effect statistical variations of this tally have on the contest outcome. If such variations almost always yield the previously-reported outcome, the audit terminates, accepting the reported outcome. Otherwise the audit is repeated with an enlarged sample. Bayesian audits are attractive because they work with any method for determining the winner (such as ranked-choice voting). We then show how Bayesian audits may be extended to handle more complex situations, such as auditing contests that \emph{span multiple jurisdictions}, or are otherwise "stratified." We highlight the auditing of such multiple-jurisdiction contests where some of the jurisdictions have an electronic cast vote record (CVR) for each cast paper vote, while the others do not. Complex situations such as this may arise naturally when some counties in a state have upgraded to new equipment, while others have not. Bayesian audits are able to handle such situations in a straightforward manner. We also discuss the benefits and relevant considerations for using Bayesian audits in practice.

研究の動機と目的

• 統計的専門家でない者や実務家にとっても理解しやすい、ベイジアンテーブレーション監査の簡略化された説明を提供すること。
• 異種の投票技術を有する複数の自治体を含む複雑な多jurisdiction選挙に対応できるように、ベイジアン監査手法を拡張すること。
• ベイジアン監査が、順位付け選挙を含む多様な投票ルールをサポートできることを示し、監査論理の変更を必要としないこと。
• 自治体ごとに異なるサンプリングレートを許容することで監査管理の柔軟性を高め、実務的実行可能性を向上させること。
• 後方確率による自動的リスク評価を伴う、透明性があり再現可能な監査プロセスを提供すること。

提案手法

• ランダムに抽出されたボールットに基づいて、報告された選挙結果が正しい確率（後方確率）をベイズ推論で計算する。
• 逐次的監査停止ルールを採用：報告された結果の後方確率が閾値（例：95％）を超えると、監査を終了する。
• 未サンプリングのボールットを生成モデルでモデル化し、不確実性下での可能な集計結果をシミュレートすることで、リスク推定を可能にする。
• 投票数の小さな変動を模擬するためのファズィング技術を用い、サンプリングの変動に伴う結果の安定性を評価する。
• 自治体ごとにボールットを分割し、各ストラタを独立にモデル化することで階層的監査を実現する。これにより、CVRとCVRなしの混合証拠タイプに対しても対応可能である。
• シミュレーションベースの計算を用いて、テスト用の未サンプル集計を生成し、代替結果が生じる確率を推定する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンテーブレーション監査を、統計的熟練度の低い者にも理解しやすく簡略化しつつ、統計的厳密性を保てるか？
• RQ2 一部の自治体に電子的キャスト・ボート・レコード（CVR）が存在するが他の自治体には存在しない多jurisdiction選挙において、ベイジアン監査が効果的に機能するか？
• RQ3 柔軟性、透明性、計算要件の観点から、ベイジアンアプローチは頻度主義的リスク制限監査と比べてどのように異なるか？
• RQ4 リソース制約により監査が早期に終了した場合でも、ベイジアン監査が意味のある解釈可能なリスク推定を提供できるか？
• RQ5 1つの監査プロセス内で複数の自治体で異なるサンプリングレートを使用する場合、実務的影響は何か？

主な発見

• ベイジアンテーブレーション監査は、結果の決定をブラックボックスとして扱うため、順位付け選挙を含むあらゆる投票ルールを処理可能である。
• この手法は、CVRがある自治体とない自治体を併用するなど、混合証拠タイプを自然に扱える。監査手順の均一性を要しない。
• 監査が早期に終了した場合でも、報告された結果が誤りである確率という自動的で解釈可能なリスク指標（後方確率）を提供する。
• サンプリングレートが自治体ごとに異なるため、監査管理が簡素化され、的確かつ効率的なサンプリングが可能になる。
• 監査プロセスは完全に再現可能である。独立した専門家は、公開された監査データと公開されたランダムシードを用いて結果を検証できる。
• 手動でのボールットカウントと比較して、計算コストが軽量であるため、大規模監査において実用的である。