[論文レビュー] Auditing Black-box Models by Obscuring Features

Philip Adler, Casey Falk+5 more|arXiv (Cornell University)|Feb 23, 2016

Imbalanced Data Classification Techniques参考文献 9被引用数 10

ひとこと要約

この論文は、再訓練やモデル内部のアクセスを必要とせず、特定の特徴をマスキングすることでブラックボックスモデルの予測に対する影響を評価する手法を紹介している。特徴の感受性を測るために差別の的影響検出の技術を活用し、複雑なモデルの解釈と、人種や性別といった偏りのある属性の監査を可能にする。

ABSTRACT

Data-trained predictive models are widely used to assist in decision making. But they are used as black boxes that output a prediction or score. It is therefore hard to acquire a deeper understanding of model behavior: and in particular how different attributes influence the model prediction. This is very important when trying to interpret the behavior of complex models, or ensure that certain problematic attributes (like race or gender) are not unduly influencing decisions. In this paper, we present a technique for auditing black-box models: we can study the extent to which existing models take advantage of particular features in the dataset without knowing how the models work. We show how a class of techniques originally developed for the detection and repair of disparate impact in classification models can be used to study the sensitivity of any model with respect to any feature subsets. Our approach does not require the black-box model to be retrained. This is important if (for example) the model is only accessible via an API, and contrasts our work with other methods that investigate feature influence like feature selection. We present experimental evidence for the effectiveness of our procedure using a variety of publicly available datasets and models. We also validate our procedure using techniques from interpretable learning and feature selection.

研究の動機と目的

• モデルの再訓練や内部構造へのアクセスを必要とせず、ブラックボックスモデルの特徴の影響を監査できるようにすること。
• 人種や性別などの感受性の高い属性がモデルの予測に不適切に影響を与えているかどうかを特定すること。
• モデルの複雑さに関係なく、任意のモデルと特徴サブセットに適用可能な手法を提供すること。
• 予測APIのみを用いて、実世界の機械学習システムにおける公平性評価と解釈可能性を支援すること。

提案手法

• 入力データの特定の特徴サブセットをマスキングすることで、モデルの予測の変化を観察する。
• 分類モデルにおける差別的影響の検出に最初に開発された技術を用いて、特徴サブセットに対する感受性を測定する。
• モデルの重みやアーキテクチャへのアクセスを必要とせず、APIを介した推論アクセスのみを要する。
• 元の入力とマスキングされた入力の予測を比較し、特徴の影響を定量化する。
• この手法は汎用的であり、任意のモデルと任意の特徴サブセットに適用可能である。
• 予測のシフトを統計的に比較することで、特徴の重要度と潜在的なバイアスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスモデルは、特定の特徴、特に感受性の高い属性（例：人種、性別）にどれほど依存しているのか？
• RQ2 モデル内部にアクセスせずに、人種や性別といった特徴のバイアス影響を検出できるか？
• RQ3 特徴のマスキングは、モデル行動における隠れた依存関係をどれほど効果的に明らかにできるか？
• RQ4 この手法は、従来の特徴選択や解釈手法と比べてどのように優れているか？

主な発見

• この手法は、複雑なモデルでさえも、予測に顕著に影響を与える特徴を効果的に同定できた。
• 人種や性別といった感受性の高い属性がモデル出力に不適切に影響を与えていることも検出できた。
• 解釈可能な学習や特徴選択手法の結果と強い整合性を示した。
• 公開データセットを用いた実験により、この手法の信頼性と特徴影響の測定における感受性が確認された。
• 再訓練を必要とせず、APIでのみアクセス可能なモデルに対しても有効である。
• この手法は、モデルの公平性と挙動を監査する実用的で侵襲のない方法を提供する。