[論文レビュー] Auditing Black-Box Models Using Transparent Model Distillation With Side Information

Sarah Tan, Rich Caruana+2 more|arXiv (Cornell University)|Oct 17, 2017

Explainable Artificial Intelligence (XAI)参考文献 34被引用数 15

ひとこと要約

この論文では、知識蒸留を用いてブラックボックスリスクスコーリングモデルの予測を模倣する透明な学生モデルを訓練し、その後、真の結果に基づいて訓練された透明なモデルと比較することで、ブラックボックスモデルを監査するためのDistill-and-Compare手法を提案する。このアプローチにより、潜在的なバイアスや欠落している特徴の存在が示され、元のモデルで使用された重要な特徴が欠落している可能性があると判明した。

ABSTRACT

Black-box risk scoring models permeate our lives, yet are typically proprietary or opaque. We propose Distill-and-Compare, a model distillation and comparison approach to audit such models. To gain insight into black-box models, we treat them as teachers, training transparent student models to mimic the risk scores assigned by black-box models. We compare the student model trained with distillation to a second un-distilled transparent model trained on ground-truth outcomes, and use differences between the two models to gain insight into the black-box model. Our approach can be applied in a realistic setting, without probing the black-box model API. We demonstrate the approach on four public data sets: COMPAS, Stop-and-Frisk, Chicago Police, and Lending Club. We also propose a statistical test to determine if a data set is missing key features used to train the black-box model. Our test finds that the ProPublica data is likely missing key feature(s) used in COMPAS.

研究の動機と目的

• 内部構造やAPIへの直接アクセスができない状況下でも、非公開で特許されたリスクスコーリングモデルを監査するための手法を開発すること。
• ブラックボックスモデルの訓練や評価に使用されている公表済みデータセットに、重要な特徴が欠落しているかどうかを特定すること。
• 知識蒸留で得た学生モデルと真の結果に基づく透明モデルを比較することで、ブラックボックスモデルの挙動に関する解釈可能なインサイトを提供すること。
• ブラックボックスモデルを直接プローブできない現実的で制限のある環境でも監査を可能にする。

提案手法

• 知識蒸留を用いて、ブラックボックスモデルが出力するリスクスコアを模倣する透明な学生モデルを訓練する。
• ブラックボックスモデルの予測を一切使用せずに、真の結果に基づいて別の透明モデルを直接訓練する。
• 統計的手法およびモデル解釈技術を用いて、蒸留済みモデルと真の結果モデルの両者を比較し、乖離を検出する。
• 蒸留済みモデルと真の結果モデルの差異を分析することで、ブラックボックスモデルにおける潜在的なバイアスや特徴の欠落を推測する。
• ブラックボックスモデルの訓練に使用されたデータセットに、重要な特徴が欠落しているかどうかを検出するための統計的検定を実施する。
• 実世界の4つのデータセット（COMPAS、Stop-and-Frisk、シカゴ警察、Lending Club）にこの手法を適用し、その有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスリスクモデルの内部構造やAPIにアクセスせずに、監査を行うことは可能か？
• RQ2 蒸留された学生モデルと真の結果に基づく透明モデルとの乖離は、ブラックボックスモデルにおけるバイアスや欠陥をどのように明らかにするか？
• RQ3 ブラックボックスモデルの訓練や評価に使用されたデータセットに、重要な予測特徴が欠落しているか？
• RQ4 蒸留に基づく監査手法は、実世界のリスクスコアリングシステムにおける特徴の欠落をどの程度検出できるか？
• RQ5 統計的検定により、元のブラックボックスモデルの訓練に使用された特徴が欠落しているデータセットを検出できるか？

主な発見

• 蒸留済みモデルと真の結果モデルとの間で顕著な統計的乖離が認められたことから、ProPublicaのCOMPASデータセットには、元のモデルの訓練に使用された重要な特徴が欠落している可能性が高いと示唆された。
• Distill-and-Compare手法は、ブラックボックスモデルにおける特徴の欠落やバイアスの兆候を示すモデル挙動の差を効果的に同定できた。
• ブラックボックスモデルのAPIをプローブしないで運用できるため、制限付きでアクセスが難しい現実的な状況にも適用可能である。
• このアプローチにより、真の結果モデルと比較した場合に、蒸留ベースの学生モデルがブラックボックス予測における構造的不整合を露呈することが明らかになった。
• 特徴の欠落を検出するための統計的検定は、COMPASデータセットに欠落があることを的確に特定し、その公表データが元の訓練データを完全に反映していない可能性を示唆した。