[논문 리뷰] Runaway Feedback Loops in Predictive Policing

Danielle Ensign, Sorelle A. Friedler외 3명|arXiv (Cornell University)|2017. 06. 29.

Digital Media Forensic Detection인용 수 122

한 줄 요약

이 논문은 urn 기반 강화로 예측 치안을 모델링하여 도망치는 피드백 루프를 설명하고 진짜 범죄율을 학습하고 편향을 완화하기 위한 블랙박스 개입을 제안한다. 이는 피드백에도 불구하고 정확한 범죄율 학습을 보장하기 위한 이론적, 경험적, 실용적 해결책을 제공한다.

ABSTRACT

Predictive policing systems are increasingly used to determine how to allocate police across a city in order to best prevent crime. Discovered crime data (e.g., arrest counts) are used to help update the model, and the process is repeated. Such systems have been empirically shown to be susceptible to runaway feedback loops, where police are repeatedly sent back to the same neighborhoods regardless of the true crime rate. In response, we develop a mathematical model of predictive policing that proves why this feedback loop occurs, show empirically that this model exhibits such problems, and demonstrate how to change the inputs to a predictive policing system (in a black-box manner) so the runaway feedback loop does not occur, allowing the true crime rate to be learned. Our results are quantitative: we can establish a link (in our model) between the degree to which runaway feedback causes problems and the disparity in crime rates between areas. Moreover, we can also demonstrate the way in which \emph{reported} incidents of crime (those reported by residents) and \emph{discovered} incidents of crime (i.e. those directly observed by police officers dispatched as a result of the predictive policing algorithm) interact: in brief, while reported incidents can attenuate the degree of runaway feedback, they cannot entirely remove it without the interventions we suggest.

연구 동기 및 목표

• 피드백 루프가 예측 치안이 데이터를 수집하기 위해 자체 출력을 사용할 때 어떻게 발생하는지 동기화하고 형식화한다.
• 배치 결정 하에서 발견된 데이터와 보고된 데이터의 역학을 설명하기 위해 urn 기반 수학 모델을 개발한다.
• 도망치는 피드백을 완화하고 진짜 범죄율을 학습하기 위해 블랙박스 방식으로 적용 가능한 개입책을 제공한다.
• 피드백으로 인한 격차가 지역 간 실제 범죄율 격차와 어떻게 관련되는지 정량화한다.

제안 방법

• 두 색이 A, B 지역을 나타내는 두 지역 예측 치안을 모델링하기 위해 일반화된 폴리아 urn을 사용한다.
• 발견된 사건 입력과 보고된 사건 입력을 포착하는 대체 행렬을 도출하고 Renlund (2010) 결과를 통해 고정점을 분석한다.
• 피드백 보정으로 관측치를 샘플링하는 개선 정책을 도입하고 이를 Thompson-Horvitz 스타일 재가중과 연결한다.
• 피드백이 잘못된 배치로 이어지는 조건을 보이기 위해 균일한 범죄율 케이스와 비균일한 케이스를 분석한다.
• 기억의 한계를 반영하기 위해 감쇠를 포함하고 실제 데이터(Oakland)를 사용해 도망치는 피드백과 개선 정책을 검증한다.
• 내부 알고리즘을 변경하지 않고도 편향에 대응하기 위한 PredPol 입력의 블랙박스 수정을 시연한다.

실험 결과

연구 질문

• RQ1 예측 치안 피드백 루프가 시스템을 지역별 잘못된 범죄율로 수렴하게 하나요?
• RQ2 입력 수준의(블랙박스) 수정이 도망치는 피드백을 상쇄하고 진짜 범죄율을 학습하게 할 수 있나요?
• RQ3 발견된 사건과 보고된 사건이 배치 결정의 역학과 편향에 어떤 영향을 미치나요?
• RQ4 피드백으로 인한 오차와 지역 간 범죄율 격차 사이의 정량적 관계는 무엇인가요?

주요 결과

• 도망치는 피드백 루프는 실제 비율이 비슷함에도 불구하고 배치를 더 높은 범죄 지역에 집중시킬 수 있다.
• 발견된 사건만을 선택적으로 포함하는 개선 정책은 발견된 사건만 입력이든 모든 사건 입력이든 urn이 진짜 범죄율을 학습하도록 이끌 수 있다.
• 발견된 사건과 보고된 사건 둘 다를 고려하려면 방문하지 않은 지역을 과소가중하지 않도록 입력 가중치를 조정해야 한다.
• 개선 정책으로 Oakland 데이터를 사용한 실험적 시뮬레이션에서 urn이 진짜 상대적 범죄율로 수렴한다.
• 블랙박스 입력 필터링은 PredPol의 편향을 완화하고 실제 범죄율에 맞춘 배치를 가능하게 한다.
• 피드백 강도와 지역 간 범죄율 격차 사이의 연관성을 정량화하고 urn 기반 분석에 기반한 실용적 해결책을 제시한다.