[論文レビュー] Detecting Bias in Black-Box Models Using Transparent Model Distillation.

Sarah Tan, Rich Caruana+2 more|arXiv (Cornell University)|Oct 17, 2017

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 30

ひとこと要約

本稿では、ブラックボックス型リスクスコアリングモデルのバイアスを検出するための透明なモデル蒸留法を提案する。解釈可能な学生モデルを、モデルの予測リスクスコアと実際の結果の両方に対して訓練することで、保護対象特徴の寄与度の差の信頼区間を用い、統計的に有意な乖離を特定する。

ABSTRACT

Black-box risk scoring models permeate our lives, yet are typically proprietary and opaque. We propose a transparent model distillation approach to detect bias in such models. Model distillation was originally designed to distill knowledge from a large, complex teacher model to a faster, simpler student model without significant loss in prediction accuracy. We add a third restriction - transparency. In this paper we use data sets that contain two labels to train on: the risk score predicted by a black-box model, as well as the actual outcome the risk score was intended to predict. This allows us to compare models that predict each label. For a particular class of student models - interpretable tree additive models with pairwise interactions (GA2Ms) - we provide confidence intervals for the difference between the risk score and actual outcome models. This presents a new method for detecting bias in black-box risk scores by assessing if contributions of protected features to the risk score are statistically different from their contributions to the actual outcome.

研究の動機と目的

• 高利害な意思決定に用いられる特許権を有する不透明なリスクスコアリングモデルにおけるバイアス検出の課題に対処すること。
• 従来の公平性監査の限界を克服し、モデルの予測と現実世界の結果を直接比較すること。
• 知識蒸留中に予測精度を維持しながらも、透明性を保つ手法の開発。
• リスクスコアと実際の結果における保護対象特徴の寄与度の差を定量化することで、バイアスの検出を可能にすること。
• 解釈可能なモデルにおける区間推定を通じて、バイアス検出の統計的信頼性を提供すること。

提案手法

• ブラックボックス型教師モデルのリスクスコアと実際の結果の両方を予測する透明な学生モデル（GA2M）を訓練する。
• 知識蒸留を用いてブラックボックス教師モデルから学生モデルへ知識を転送し、精度の損失を最小限に抑える。
• 透明性を第三者の制約として導入し、学生モデルが解釈可能であり、特徴寄与度を明示的にモデル化することを保証する。
• リスクスコアと実際の結果のための別個のモデルを訓練することで、保護対象特徴の影響の直接比較を可能にする。
• 二つのモデル間の保護対象特徴寄与度の差の信頼区間を計算し、統計的有意性を評価する。
• GA2Mにおけるペairwise相互作用項を用いて、複雑な特徴関係をモデル化しつつも、解釈可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 透明なモデル蒸留は、既存の手法と比較して、ブラックボックス型リスクスコアリングモデルにおけるバイアス検出をより効果的に行えるか？
• RQ2 保護対象特徴がリスクスコアに与える寄与度と、実際の結果に与える寄与度は、統計的に有意に異なるか？
• RQ3 信頼区間の使用は、モデル蒸留におけるバイアス検出の信頼性を向上させるか？
• RQ4 透明な学生モデルは、バイアス検出を可能にする一方で、予測精度をどの程度維持できるか？
• RQ5 ブラックボックスモデルの内部構造にアクセスできない状況でも、この手法はバイアスを同定できるか？

主な発見

• 本手法は、リスクスコアと実際の結果における保護対象特徴の寄与度の間に統計的に有意な差を明確に特定でき、バイアスの兆候を示している。
• 特徴寄与度の差の信頼区間は、バイアス検出の信頼性の高い統計的根拠を提供する。
• 解釈可能なGA2Mモデルの使用により、保護対象特徴が予測にどのように影響しているかを明確に可視化・解釈可能になる。
• モデル蒸留により、ブラックボックスモデルから透明な学生モデルへの知識転送が行われつつも、高い予測精度を維持している。
• ブラックボックスモデルが完全に不透明であっても、入力出力挙動に依存するだけでバイアス検出が可能である。
• 保護対象特徴がリスクスコアに強く影響しているが、実際の結果にほとんど影響を与えないケースが同定され、公平性上の懸念を示唆している。