[论文解读] dalex: Responsible Machine Learning with Interactive Explainability and Fairness in Python

Hubert Baniecki, Wojciech Kretowicz+3 more|arXiv (Cornell University)|Dec 28, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用 30

一句话总结

dalex 提供一个统一的 Python 接口，用于模型可解释性与公平性，并配备交互式仪表板，从而实现端到端的负责任机器学习工作流。

ABSTRACT

The increasing amount of available data, computing power, and the constant pursuit for higher performance results in the growing complexity of predictive models. Their black-box nature leads to opaqueness debt phenomenon inflicting increased risks of discrimination, lack of reproducibility, and deflated performance due to data drift. To manage these risks, good MLOps practices ask for better validation of model performance and fairness, higher explainability, and continuous monitoring. The necessity of deeper model transparency appears not only from scientific and social domains, but also emerging laws and regulations on artificial intelligence. To facilitate the development of responsible machine learning models, we showcase dalex, a Python package which implements the model-agnostic interface for interactive model exploration. It adopts the design crafted through the development of various tools for responsible machine learning; thus, it aims at the unification of the existing solutions. This library's source code and documentation are available under open license at https://python.drwhy.ai/.

研究动机与目标

• 促使减少机器学习中的不透明债务及其社会与监管影响。
• 提供一个统一的 Python 接口，将模型、数据和解释连接起来。
• 在模型级和局部层面提供解释及公平性评估。
• 支持交互式、对比性的模型分析，以促进人机对话。
• 从 R 语言中的 DALEX 扩展到 Python，实现端到端的负责任机器学习工具链。

提出的方法

• 引入 dalex.Explainer，作为跨越多种模型和数据 API 的模型无关抽象。
• 提供模型级和预测级解释对象，采用统一的结果格式（pandas.DataFrame），并通过 plotly 绘图。
• 实现基于混淆矩阵驱动的公平性度量的 fairnessCheck。
• 提供 Arena 仪表板，支持交互、可分享与可重复的模型比较。
• 通过解释器接口，允许集成外部解释工具（如 SHAP、LIME）。
• 描述未来工作路线图，包括分组解释与 predict_fairness。

实验结果

研究问题

• RQ1 如何通过统一的、模型无关的接口，在不同的 ML 框架之间促进可解释性和公平性？
• RQ2 交互式仪表板能否提升 ML 模型分析的可重复性和透明性？
• RQ3 哪些公平性度量在检测和描述表格数据模型中的偏差方面最有效？
• RQ4 dalex 如何将可解释性扩展到多输出模型以及未来的公平性指标？
• RQ5 在统一接口内集成外部可解释性工具的实际步骤有哪些？

主要发现

• dalex 提供一个统一接口，将各种 ML 框架和数据 API 跨界整合用于可解释性和公平性。
• 该包包含模型级和局部可解释性方法，以及公平性评估工作流。
• 一个交互式 Arena 仪表板实现对比模型分析，并且可以保存以实现可重复性。
• 公平性检查依赖于常见的混淆矩阵指标，输出描述性结果和可视化。
• 该库支持在其统一工作流中集成外部解释器，如 SHAP 和 LIME。
• 该工作在 DALEX R 包的基础上扩展到 Python，突出跨语言的连续性与可扩展性。