[论文解读] ReLAX: Reinforcement Learning Agent eXplainer for Arbitrary Predictive Models

Ziheng Chen, Fabrizio Silvestri+4 more|arXiv (Cornell University)|Oct 22, 2021

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

ReLAX 提出了一种模型无关的反事实解释方法，利用具有离散-连续混合动作空间的深度强化学习，为任意黑箱预测模型生成稀疏、可行且最优的反事实。该方法在稀疏性、可扩展性和分类与回归任务中的泛化能力方面优于现有基线方法，并成功为降低新冠死亡率提出了现实世界中的公共卫生干预建议。

ABSTRACT

Counterfactual examples (CFs) are one of the most popular methods for attaching post-hoc explanations to machine learning (ML) models. However, existing CF generation methods either exploit the internals of specific models or depend on each sample's neighborhood, thus they are hard to generalize for complex models and inefficient for large datasets. This work aims to overcome these limitations and introduces ReLAX, a model-agnostic algorithm to generate optimal counterfactual explanations. Specifically, we formulate the problem of crafting CFs as a sequential decision-making task and then find the optimal CFs via deep reinforcement learning (DRL) with discrete-continuous hybrid action space. Extensive experiments conducted on several tabular datasets have shown that ReLAX outperforms existing CF generation baselines, as it produces sparser counterfactuals, is more scalable to complex target models to explain, and generalizes to both classification and regression tasks. Finally, to demonstrate the usefulness of our method in a real-world use case, we leverage CFs generated by ReLAX to suggest actions that a country should take to reduce the risk of mortality due to COVID-19. Interestingly enough, the actions recommended by our method correspond to the strategies that many countries have actually implemented to counter the COVID-19 pandemic.

研究动机与目标

• 为解决现有反事实生成方法存在的模型依赖性、梯度依赖性或邻域依赖性等局限，这些局限阻碍了泛化能力和可扩展性。
• 开发一种模型无关的框架，能够为复杂黑箱模型在分类与回归任务中生成最优、稀疏且可行的反事实。
• 将反事实生成建模为可通过具有混合动作空间的深度强化学习求解的序列决策问题。
• 通过生成可操作的政策建议，展示其在实际应用中的效用，以减少现实国家中的新冠死亡率风险。

提出的方法

• 将反事实生成建模为序列决策任务，其中智能体选择修改哪些特征及其变化幅度，以在最小扰动下将输入转换为反事实。
• 定义一个混合动作空间，结合离散动作（选择修改哪个特征）和连续动作（设定变化幅度），以实现精确且可行的修改。
• 使用具有分层好奇心驱动探索策略的深度强化学习，优化智能体策略以最大化奖励，平衡预测结果的改变与原始样本的接近程度。
• 实现两种变体：ReLAX-Global 从完整训练集学习一个通用策略，ReLAX-Local 通过迁移学习为单个实例微调个性化策略。
• 限制智能体仅修改可操作特征，并强制执行合理的改变方向（例如，提高护士比例，降低肥胖率），以确保现实可行性。
• 将黑箱模型视为奖励函数评估器，使该方法对模型架构或内部结构保持无关。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能有效生成任意黑箱模型的稀疏且可行的反事实，而无需依赖模型内部信息或局部邻域？
• RQ2 在多种表格数据集上，ReLAX 在稀疏性、接近度和可扩展性方面与现有反事实生成基线相比表现如何？
• RQ3 ReLAX 是否能生成在现实决策场景中具有意义、可操作且经验上有效的反事实？
• RQ4 与先前方法相比，混合离散-连续动作空间在多大程度上提升了生成反事实的质量与可行性？

主要发现

• 在五个公开的表格数据集上，ReLAX 在所有标准指标上均优于所有基线方法，反事实在稀疏性、接近度和多样性方面表现更优。
• 每个反事实平均修改的特征数为 1.67 个，平均 L1-范数接近度为 1.18，表明反事实高度稀疏且接近原始样本。
• 通过迁移学习微调的 ReLAX-Local 在个体实例解释中表现优于 ReLAX-Global，证明了个性化策略适配的有效性。
• 为高风险国家生成的反事实建议了五项关键可操作措施：降低死亡率、失业率、城市人口比例和肥胖患病率，同时提高每万名人口中的护士比例。
• 这些建议与新冠疫情期间实际采纳的政策一致，例如美国为招募外国护士所采取的措施，以及针对肥胖相关风险的公共卫生策略。
• 用作目标黑箱分类器的 XGBoost 模型在测试集上达到 85% 的准确率，验证了底层预测任务的稳健性。