[论文解读] LionForests: Local Interpretation of Random Forests

Ioannis Mollas, Nick Bassiliades+2 more|arXiv (Cornell University)|Nov 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 36被引用 5

一句话总结

LionForests 提出了一种针对随机森林的模型特定、局部解释方法，通过利用关联规则和 k-中位数聚类等无监督技术，减少特征数量并扩大特征范围，生成简洁、自然语言形式的规则。该方法相较于以往方法，能产生更稳健、可解释且可信的解释，尤其适用于具有分类特征的表格数据。

ABSTRACT

Towards a future where ML systems will integrate into every aspect of people’s lives, researching methods to interpret such systems is necessary, instead of focusing exclusively on enhancing their performance. Enriching the trust between these systems and people will accelerate this integration process. Many medical and retail banking/finance applications use state-of-the-art ML techniques to predict certain aspects of new instances. Thus, explainability is a key requirement for human-centred AI approaches. Tree ensembles, like random forests, are widely acceptable solutions on these tasks, while at the same time they are avoided due to their black-box uninterpretable nature, creating an unreasonable paradox. In this paper, we provide a methodology for shedding light on the predictions of the misjudged family of tree ensemble algorithms. Using classic unsupervised learning techniques and an enhanced similarity metric, to wander among transparent trees inside a forest following breadcrumbs, the interpretable essence of tree ensembles arises. An interpretation provided by these systems using our approach, which we call “LionForests”, can be a simple, comprehensive rule.

研究动机与目标

• 为解决广泛使用但被视为黑箱模型的随机森林缺乏可理解、可靠的局部解释问题。
• 克服现有方法的局限性，如特征范围过窄、特征数量过多，以及对分类变量处理不佳的问题。
• 生成人类可读、稳健且可信的自然语言形式解释，兼具简洁性与准确性。
• 提升高风险领域（如医疗保健和金融）的可解释性，以满足法律与伦理要求的可解释人工智能。
• 开发一种模型特定方法，在树集成模型中实现比模型无关方法更高的保真度与可理解性。

提出的方法

• 该方法从随机森林中的单个决策树提取路径，识别导致某一预测的决策路径。
• 应用 Apriori 算法从路径中提取频繁项集，通过关联规则挖掘形成候选规则。
• 使用 k-中位数聚类将相似路径分组并选择代表性路径，以减少冗余和路径数量。
• 通过合并多个路径中的重叠区间，扩展特征范围，提升鲁棒性与泛化能力。
• 分类特征通过独热编码处理，仅将相关类别（如 'marital_status_Married'）保留在最终规则中。
• 通过规则简化过程最小化特征数量并最大化范围宽度，生成简洁、自然语言形式的解释。

实验结果

研究问题

• RQ1 针对随机森林的模型特定、局部解释方法，是否能产生比现有方法更易理解且更可信的解释？
• RQ2 关联规则与 k-中位数聚类的结合，在减少特征数量和扩展局部解释中的特征范围方面效果如何？
• RQ3 与以往工作相比，该方法在提升分类特征与数值特征可解释性方面达到何种程度？
• RQ4 生成的规则能否以自然语言表达，同时保持预测保真度与鲁棒性？
• RQ5 该方法在处理非影响性分类值（如 'native_country'）方面表现如何？

主要发现

• LionForests 方法将一条包含 40 个特征的规则减少至 27 个特征，通过消除冗余和窄范围特征，显著提升了可理解性。
• 年龄范围从 [47,53] 扩展至 [47,63]，'每周工作时长' 范围从 [15,25] 扩展至 [15,99]，增强了对小幅度输入变化的鲁棒性。
• 该方法成功识别出影响预测的 'native_country' 分类值，如 'Mexico' 和 'United-States'，同时排除了不影响预测的值如 'India' 和 'France'。
• 最终规则以自然语言形式呈现，例如 '如果年龄 ≥47 且 ≤63 且 每周工作时长 ≥15 且 ≤99 且 native_country=Jamaica，则 收入 >50K'，显著提升了人类可读性。
• 与 iForest 和基于特征列表的解释方法相比，该方法通过避免视觉复杂性与窄范围不稳定性，表现出更优的性能。
• 该方法通过将路径数量最小化至一个共识群体（quorum）来提升可靠性，同时保持预测置信度，但建议设置阈值参数以防止过度优化。