[論文レビュー] The Case for Temporal Transparency: Detecting Policy Change Events in Black-Box Decision Making Systems

Miguel Ferreira, Muhammad Bilal Zafar+1 more|arXiv (Cornell University)|Oct 31, 2016

Data Stream Mining Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、時系列の変化点検出を活用してブラックボックス意思決定システムにおける政策変更を検出する新しいアプローチとして、時間的透明性を導入する。ニューヨーク市警察（NYPD）のストップアンドフレイスデータを用いたベイジアン手法により、Tetraフレームワークは、公表済みおよび非公表の政策シフトを同定し、2013年に非公式な変更により1日あたりのストップ数が10%減少したことも明らかにした。

ABSTRACT

Bringing transparency to black-box decision making systems (DMS) has been a topic of increasing research interest in recent years. Traditional active and passive approaches to make these systems transparent are often limited by scalability and/or feasibility issues. In this paper, we propose a new notion of black-box DMS transparency, named, temporal transparency, whose goal is to detect if/when the DMS policy changes over time, and is mostly invariant to the drawbacks of traditional approaches. We map our notion of temporal transparency to time series changepoint detection methods, and develop a framework to detect policy changes in real-world DMS's. Experiments on New York Stop-question-and-frisk dataset reveal a number of publicly announced and unannounced policy changes, highlighting the utility of our framework.

研究の動機と目的

• ブラックボックス意思決定システム（DMS）における従来の機能的・運用的透明性の限界を是正すること。
• 時間的透明性を提唱し、DMSの政策が時間経過とともにどのように変化するかを検出することに焦点を当てた補完的アプローチを提供すること。
• 通常は気づかれない可能性のある非公表または秘密の政策変更を検出可能にする。
• 特に法執行部門のような高リスク・リアルワールドのシステムにおいて、能動的・受動的透明性手法が失敗する状況においても、スケーラブルで実行可能な代替手法を提供すること。
• 今後の透明性施策を支援するため、政策変更イベントという重要な時間点を特定し、それらを深く分析する手がかりを提供すること。

提案手法

• 意思決定行動の時間的変化をモデル化するために、ベイジアン変化点検出を適応応用する。
• DMSの入力-出力ペアの時系列を用い、基礎となる政策関数 $f_{\mathrm{DMS}}$ の構造的変化を検出する。
• 変化点の前後で観測値が異なる分布に従うと仮定する統計モデルを適用する。
• 入力は比較的安定しているが、出力パターンに急激なシフトが生じるのを検出し、変化点を特定する。
• 2006年から2013年までの実世界のNYPDストップアンドフレイスデータを用いてフレームワークを検証する。
• ストップレートや逮捕レートなどの多変量特徴量を分析し、単なるストップ頻度を超えた包括的な政策変化を検出する。

実験結果

リサーチクエスチョン

• RQ1 従来の透明性手法が失敗する状況下でも、時間的透明性はブラックボックス意思決定システムにおける政策変更を検出可能か？
• RQ2 ベイジアン変化点検出は、運用中のDMSログにおける現実世界の政策シフトを効果的に同定できるか？
• RQ3 検出された政策変更のうち、どれくらいの割合が公表済みで、どれくらいが非公表であったか？
• RQ4 DMS出力の多変量分析は、単なるストップ頻度を超えた包括的な政策変化を明らかにできるか？
• RQ5 自然災害や抗議行動などの外部要因が、検出された政策変更イベントをどれくらい説明できるか？

主な発見

• フレームワークTetraは、2006年から2013年のNYPDストップアンドフレイスデータにおいて31件の変化点を検出。季節的パターンや外部要因に起因するシフトを含む。
• 6件の変化点は、ハリケーン・サンディ（2012年10月29日）やオキュパイ・ウォールストリート運動（2011年9月22日）といった外部要因と関連づけられた。
• 2012年3月26日にNYPDが公表した政策変更（高影響地域への人員増強に伴いストップ数が減少）は、正常に検出され、検証された。
• 2013年には3件の非公表政策変更が検出され、1年を通じて1日あたりのストップ数が90%減少した。これは政治的・法的圧力と一致した。
• ストップ頻度と逮捕率の両方における変化点は強く相関しており、単なる運用上のばらつきではなく、包括的な政策変化を示している。
• 政治的に敏感な時期においても非公表変更を正常に同定できたことから、監視と責任追及の分野での実用性が浮き彫りになった。