[論文レビュー] Runaway Feedback Loops in Predictive Policing

Danielle Ensign, Sorelle A. Friedler+3 more|arXiv (Cornell University)|Jun 29, 2017

Digital Media Forensic Detection被引用数 122

ひとこと要約

本論文は urn ベースの強化学習モデルを用いた予測警察のモデル化を通じて暴走するフィードバックループを説明し、真の犯罪率を学習し偏りを緩和するブラックボックス介入を提案する。フィードバックにもかかわらず正確な犯罪率を学習するための理論的・実証・実践的な救済策を提供する。

ABSTRACT

Predictive policing systems are increasingly used to determine how to allocate police across a city in order to best prevent crime. Discovered crime data (e.g., arrest counts) are used to help update the model, and the process is repeated. Such systems have been empirically shown to be susceptible to runaway feedback loops, where police are repeatedly sent back to the same neighborhoods regardless of the true crime rate. In response, we develop a mathematical model of predictive policing that proves why this feedback loop occurs, show empirically that this model exhibits such problems, and demonstrate how to change the inputs to a predictive policing system (in a black-box manner) so the runaway feedback loop does not occur, allowing the true crime rate to be learned. Our results are quantitative: we can establish a link (in our model) between the degree to which runaway feedback causes problems and the disparity in crime rates between areas. Moreover, we can also demonstrate the way in which \emph{reported} incidents of crime (those reported by residents) and \emph{discovered} incidents of crime (i.e. those directly observed by police officers dispatched as a result of the predictive policing algorithm) interact: in brief, while reported incidents can attenuate the degree of runaway feedback, they cannot entirely remove it without the interventions we suggest.

研究の動機と目的

• 予測警察が自らの出力を用いてデータを収集する際に、フィードバックループがどのように生じるかを動機づけ、形式化する。
• 配置決定下での発見データと報告データのダイナミクスを説明するための urn ベースの数学的モデルを構築する。
• 暴走するフィードバックを緩和し真の犯罪率を学習するためのブラックボックス的に適用可能な介入を提供する。
• フィードバックに起因する格差と区域間の実際の犯罪率格差との定量的関係を明らかにする。

提案手法

• 一般化ポリアのurnを用いて、A地域とB地域を表す二色で二地域予測警察をモデル化する。
• 発見された事件と報告された事件の入力を捉える置換行列を導出し、Renlund (2010) の結果を用いてその不動点を分析する。
• フィードバックを補正するために観測をサンプリングする改善ポリシーを導入し、Thompson-Horvitz型のリウェイティングと結びつける。
• 均一な犯罪率と非均一な犯罪率の場合を分析し、フィードバックが誤った配置を生む条件を示す。
• 有限の記憶をモデル化するために減衰を取り入れ、現実データ（オークランド）でシミュレーションして暴走フィードバックと改善ポリシーを検証する。
• 内部アルゴリズムを変更せずに PredPol の入力にブラックボックス的な修正を施して偏りを抑制することを示す。

実験結果

リサーチクエスチョン

• RQ1 予測警察のフィードバックループは、区域特有の犯罪率が誤った値へ収束する原因となるか。
• RQ2 入力レベルの（ブラックボックス的）修正は暴走フィードバックを抑制し、真の犯罪率を学習するのに役立つか。
• RQ3 発見された事件と報告された事件は、配置決定のダイナミクスとバイアスにどのような影響を与えるか。
• RQ4 フィードバックによる誤差と区域間の犯罪率格差との定量的関係はどのようになるか。

主な発見

• 暴走フィードバックループは、真の犯罪率が類似していても配備を高犯罪区域に集中させる可能性がある。
• 発見された事件の選択的包含に基づく改善ポリシーは、発見のみの入力と全事件入力の双方で urn が真の犯罪率を学習するよう導く。
• 発見および報告された両方の事件を考慮するには、入力の重み付けを調整して未訪問地域を過小評価しないようにする。
• 改善ポリシーを用いると、オークランドデータを用いた経験的シミュレーションで urn が真の相対犯罪率へ収束する。
• ブラックボックス入力フィルタリングはPredPol の偏りを緩和し、実際の犯罪率と一致する配備につながる。
• 本研究はフィードバック強度と区域間犯罪率格差の関連を定量化し、urnベースの解析に基づく実践的な救済策を提供する。