[论文解读] Auditing Black-box Models by Obscuring Features

Philip Adler, Casey Falk+5 more|arXiv (Cornell University)|Feb 23, 2016

Imbalanced Data Classification Techniques参考文献 9被引用 10

一句话总结

本文提出一种方法，通过遮蔽特定特征来审计黑箱模型，以评估其对预测的影响，而无需重新训练或访问模型内部结构。该方法借鉴了差异影响检测的技术来衡量特征敏感性，从而实现对复杂模型的解释，并审计诸如种族或性别等有偏属性的影响。

ABSTRACT

Data-trained predictive models are widely used to assist in decision making. But they are used as black boxes that output a prediction or score. It is therefore hard to acquire a deeper understanding of model behavior: and in particular how different attributes influence the model prediction. This is very important when trying to interpret the behavior of complex models, or ensure that certain problematic attributes (like race or gender) are not unduly influencing decisions. In this paper, we present a technique for auditing black-box models: we can study the extent to which existing models take advantage of particular features in the dataset without knowing how the models work. We show how a class of techniques originally developed for the detection and repair of disparate impact in classification models can be used to study the sensitivity of any model with respect to any feature subsets. Our approach does not require the black-box model to be retrained. This is important if (for example) the model is only accessible via an API, and contrasts our work with other methods that investigate feature influence like feature selection. We present experimental evidence for the effectiveness of our procedure using a variety of publicly available datasets and models. We also validate our procedure using techniques from interpretable learning and feature selection.

研究动机与目标

• 实现对黑箱模型的特征影响审计，而无需重新训练模型或访问其内部结构。
• 检测敏感属性（例如种族、性别）是否不当地影响模型预测。
• 提供一种适用于任何模型和特征子集的方法，无论模型复杂度如何。
• 仅通过预测API支持现实世界机器学习系统中的公平性评估与可解释性。

提出的方法

• 该方法通过在输入数据中遮蔽特定特征子集，观察模型预测的变化。
• 它采用最初用于检测分类模型中差异影响的技术，来衡量对特征子集的敏感性。
• 该方法无需访问模型权重或架构，仅需通过API进行推理访问。
• 通过比较原始输入与遮蔽输入的预测结果，量化特征影响。
• 该方法具有通用性，可应用于任何模型和任何特征子集。
• 其依赖于对预测变化的统计比较，以评估特征重要性及潜在偏见。

实验结果

研究问题

• RQ1 黑箱模型在多大程度上依赖于特定特征（包括敏感属性）进行预测？
• RQ2 我们能否在不访问模型内部结构的情况下，检测到种族或性别等特征的偏见影响？
• RQ3 特征遮蔽在揭示模型行为中隐藏依赖关系方面有多有效？
• RQ4 与传统特征选择或可解释性技术相比，该方法表现如何？

主要发现

• 该方法成功识别出显著影响模型预测的特征，即使在复杂模型中亦然。
• 它检测到种族和性别等敏感属性对模型输出的不当影响。
• 该方法与可解释学习及特征选择方法的结果高度一致。
• 在公开数据集上的实验验证了该方法在测量特征影响方面的可靠性与敏感性。
• 即使模型仅通过API可访问且无需重新训练，该技术依然有效。
• 该方法为审计模型公平性与行为提供了一种实用且非侵入性的途径。