[论文解读] Generalized Inverse Classification

Michael T. Lash, Qihang Lin+3 more|arXiv (Cornell University)|Oct 5, 2016

Machine Learning and Data Classification被引用 20

一句话总结

本文提出广义逆分类（GIC），一种灵活的框架，使基于启发式的优化能够识别对输入特征的可操作、成本受限的修改，从而降低任何可微或不可微分类器对不良结果的预测概率。该方法利用带局部搜索的遗传算法，使一位真实患者的心血管疾病（CVD）风险从55%降低至30%以下，优于基于敏感性的基线方法。

ABSTRACT

Inverse classification is the process of perturbing an instance in a meaningful way such that it is more likely to conform to a specific class. Historical methods that address such a problem are often framed to leverage only a single classifier, or specific set of classifiers. These works are often accompanied by naive assumptions. In this work we propose generalized inverse classification (GIC), which avoids restricting the classification model that can be used. We incorporate this formulation into a refined framework in which GIC takes place. Under this framework, GIC operates on features that are immediately actionable. Each change incurs an individual cost, either linear or non-linear. Such changes are subjected to occur within a specified level of cumulative change (budget). Furthermore, our framework incorporates the estimation of features that change as a consequence of direct actions taken (indirectly changeable features). To solve such a problem, we propose three real-valued heuristic-based methods and two sensitivity analysis-based comparison methods, each of which is evaluated on two freely available real-world datasets. Our results demonstrate the validity and benefits of our formulation, framework, and methods.

研究动机与目标

• 为解决先前逆分类方法在分类器选择上存在的局限性，特别是在需要高准确率或可解释性的现实应用中。
• 开发一种通用框架，支持任意分类模型，包括随机森林等不可微模型，通过避免依赖特定模型的假设。
• 整合现实约束，如单个特征成本（线性和非线性）、累计变更预算，以及因直接操作导致的间接特征变化。
• 在真实世界数据集上，评估基于启发式的优化方法与基于敏感性分析的基线方法在风险降低效果和实际可行性方面的表现。
• 通过两个真实世界数据集——学生表现和心血管疾病风险预测——展示该方法在临床和教育场景中的实用性。

提出的方法

• 该框架通过仅要求一个非禁止性假设，即模型的预测函数可访问且可微分或可近似，从而支持任意分类模型。
• 通过单个特征成本（线性或非线性）建模特征变化，并对总变化量施加累计预算约束。
• 提出三种实值启发式优化方法：遗传算法（GA）、爬山法（HC）和局部搜索（LS），并采用组合形式（如GA+LS）以提升性能。
• 实现两种基于敏感性分析的基线方法：固定强度局部变量扰动（LVP-FI）和有偏强度局部变量扰动（LVP-BI），用于对比评估。
• 通过估计直接变化对间接可变特征的影响，处理间接可变特征，从而提升推荐的现实性。
• 通过在特征空间中迭代搜索进行优化，以最小化目标类别的预测概率，同时满足成本和预算约束。

实验结果

研究问题

• RQ1 能否设计一种广义逆分类框架，使其适用于任意分类模型，包括随机森林等不可微模型，且不施加限制性假设？
• RQ2 在现实成本和预算约束下，基于启发式的优化方法与基于敏感性分析的方法在降低预测风险方面表现如何比较？
• RQ3 在多大程度上可以利用特征层面的直接和间接变化，生成可操作、成本效益高的风险缓解建议？
• RQ4 与线性成本模型相比，包含非线性成本函数是否能提升逆分类建议的现实性和实用性？
• RQ5 在何种条件下，基于启发式的优化方法在逆分类任务中优于基于敏感性的方法？

主要发现

• 所提出的GIC框架成功将患者29的心血管疾病（CVD）风险从55%降低至30%以下，采用GA+LS启发式方法，预算水平为2。
• 在CVD数据集上，平均而言，使用预算水平为2的启发式方法，风险从约50%降低至30%–35%。
• 在CVD数据集上，GA+LS方法优于所有其他方法，实现了最显著的风险降低；而LVP-FI表现强劲，表明在某些情况下敏感性方法具有上下文依赖的优越性。
• 在学生表现数据集上，三种启发式方法共同将风险从约70%降低至约62%，预算水平为3；个体最佳表现将风险降至50%，预算水平为5。
• 该框架成功整合了非线性成本函数和间接特征变化，使建议更具现实性和可操作性。
• 结果表明，启发式方法在风险降低方面通常优于基于敏感性分析的方法，尽管LVP-FI在CVD数据集上表现强劲，提示未来可采用混合或上下文感知的方法选择策略。