[论文解读] LCS-DIVE: An Automated Rule-based Machine Learning Visualization Pipeline for Characterizing Complex Associations in Classification

Robert Zhang, Rachael Z. Stolzenberg‐Solomon+2 more|arXiv (Cornell University)|Apr 26, 2021

Evolutionary Algorithms and Applications参考文献 41被引用 5

一句话总结

LCS-DIVE 是一种自动化的、基于规则的机器学习流程，利用 ExSTraCS 的特征追踪得分来解释生物医学分类中的复杂多变量关联（如上位效应和异质性）。它通过聚类、可视化和亚群表征实现全局模型解释，已在模拟和真实的胰腺癌数据中表现出色，能够有效区分各类关联模式。

ABSTRACT

Machine learning (ML) research has yielded powerful tools for training accurate prediction models despite complex multivariate associations (e.g. interactions and heterogeneity). In fields such as medicine, improved interpretability of ML modeling is required for knowledge discovery, accountability, and fairness. Rule-based ML approaches such as Learning Classifier Systems (LCSs) strike a balance between predictive performance and interpretability in complex, noisy domains. This work introduces the LCS Discovery and Visualization Environment (LCS-DIVE), an automated LCS model interpretation pipeline for complex biomedical classification. LCS-DIVE conducts modeling using a new scikit-learn implementation of ExSTraCS, an LCS designed to overcome noise and scalability in biomedical data mining yielding human readable IF:THEN rules as well as feature-tracking scores for each training sample. LCS-DIVE leverages feature-tracking scores and/or rules to automatically guide characterization of (1) feature importance (2) underlying additive, epistatic, and/or heterogeneous patterns of association, and (3) model-driven heterogeneous instance subgroups via clustering, visualization generation, and cluster interrogation. LCS-DIVE was evaluated over a diverse set of simulated genetic and benchmark datasets encoding a variety of complex multivariate associations, demonstrating its ability to differentiate between them and then applied to characterize associations within a real-world study of pancreatic cancer.

研究动机与目标

• 为解决传统黑箱机器学习方法在复杂、噪声大且异质的生物医学分类模型中缺乏透明度的问题。
• 开发一种自动化流程，超越单个预测，表征全局模型行为，重点关注特征重要性、交互模式和亚群异质性。
• 通过基于规则模型的可视化与计算分析，使研究人员能够发现生物学上合理的关联（如性别驱动的亚群或多重上位效应）。
• 通过结合基于规则的学习与特征追踪得分，实现可扩展且人类可读的洞察，提升可解释性与知识发现能力。
• 评估该流程在区分合成与真实世界数据中的一元、加性、上位效应和异质性关联模式方面的能力。

提出的方法

• 采用与 scikit-learn 兼容的 ExSTraCS 实现，这是一种专为噪声大、高维生物医学数据设计的基于规则的学习分类系统。
• 使用特征追踪（FT）得分量化每个特征对单个训练样本的贡献，从而实现局部与全局可解释性。
• 对 FT 得分特征签名应用自动化聚类，以识别具有独特特征重要性模式的独立实例亚群。
• 生成可视化结果，如 FT 聚类图和规则网络图，以支持模型解释与亚群分析。
• 整合规则种群分析与 FT 得分分析，优先采用后者以获得更清晰、更细致的模型行为洞察。
• 实施四阶段流程：(1) 使用 ExSTraCS 训练模型，(2) 提取 FT 得分，(3) 聚类与可视化，(4) 在聚类层面进行深入分析，以区分具有生物意义的亚群。

实验结果

研究问题

• RQ1 LCS-DIVE 是否能可靠地区分复杂生物医学数据中的一元、加性、上位效应和异质性关联模式？
• RQ2 与传统的规则种群分析相比，特征追踪得分特征签名在捕捉和可视化潜在多变量关联方面是否更清晰、更可靠？
• RQ3 LCS-DIVE 是否能在真实世界数据集（如胰腺癌数据）中识别并表征具有独特特征重要性模式的生物学相关实例亚群？
• RQ4 在噪声大或高维数据中，该流程在检测纯上位效应或异质性关联方面的表现如何？
• RQ5 FT 聚类图在真实应用场景中，对指导假设生成和后续生物学研究的指导作用有多大？

主要发现

• LCS-DIVE 在干净和噪声较大的基准数据集及模拟数据集中，成功区分了一元、加性、上位效应和异质性关联模式。
• 特征追踪得分特征签名在可视化方面比规则种群分析更清晰、更可靠，尤其在识别复杂模式方面表现更优。
• 在胰腺癌数据集 P1 中，LCS-DIVE 识别出一个大型聚类（>99% 为对照组，99.11% 为男性），其中性别和家族史占主导地位，提示存在性别驱动的异质性效应。
• 在 P2 数据集中，碳水化合物、脂肪和钙的每日总摄入量等饮食变量在性别和种族之后成为次要重要特征，表明其在风险预测中可能具有潜在作用。
• 该流程通过 FT 得分特征签名的聚类，成功复现了潜在的异质性亚群，各聚类间表现出截然不同的特征重要性模式。
• 在真实世界数据中的应用揭示了可能存在的基于性别的异质性以及多重加性效应，证明了该流程在生成生物学上合理假设方面的实用性。