[论文解读] Learning Sample-Specific Models with Low-Rank Personalized Regression

Benjamin J. Lengerich, Bryon Aragam+1 more|arXiv (Cornell University)|Oct 15, 2019

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文提出低秩个性化回归，以在无需事先了解样本关系的情况下估计样本特异性模型。通过从未建模的协变量中学习潜在距离度量，该方法联合优化个性化回归参数，从而实现准确、可解释且具有预测能力的模型，其性能优于全局模型，并能捕捉生物医学、金融和选举数据中的细微异质性。

ABSTRACT

Modern applications of machine learning (ML) deal with increasingly heterogeneous datasets comprised of data collected from overlapping latent subpopulations. As a result, traditional models trained over large datasets may fail to recognize highly predictive localized effects in favour of weakly predictive global patterns. This is a problem because localized effects are critical to developing individualized policies and treatment plans in applications ranging from precision medicine to advertising. To address this challenge, we propose to estimate sample-specific models that tailor inference and prediction at the individual level. In contrast to classical ML models that estimate a single, complex model (or only a few complex models), our approach produces a model personalized to each sample. These sample-specific models can be studied to understand subgroup dynamics that go beyond coarse-grained class labels. Crucially, our approach does not assume that relationships between samples (e.g. a similarity network) are known a priori. Instead, we use unmodeled covariates to learn a latent distance metric over the samples. We apply this approach to financial, biomedical, and electoral data as well as simulated data and show that sample-specific models provide fine-grained interpretations of complicated phenomena without sacrificing predictive accuracy compared to state-of-the-art models such as deep neural networks.

研究动机与目标

• 解决传统机器学习模型因过度依赖全局模式而难以捕捉局部化、个体化效应的局限性。
• 实现在不假设样本间已知关系（如预定义网络）的前提下，估计样本特异性回归模型。
• 联合学习样本特异性参数与从未建模协变量中推断出的潜在距离度量，以实现在子群体间共享统计效能。
• 提供超越粗粒度类别标签的、对子群体动态的可解释、细粒度洞察。
• 证明个性化模型可达到或超越复杂模型（如深度神经网络）的预测性能，同时保持可解释性。

提出的方法

• 构建联合优化目标，以在学习样本间关系的低秩潜在表示的同时，估计样本特异性回归系数。
• 采用距离匹配正则化项，促使相似样本具有相似的回归参数，其相似性由未建模协变量推断。
• 在参数矩阵上施加低秩结构，以降低复杂度并实现高效优化。
• 将该框架应用于预测变量按样本固定但响应变量可变的数据，使回归参数可随样本变化。
• 利用 t-SNE 可视化技术解释由个性化模型生成的样本嵌入。
• 通过 GitHub 上的 Python 实现确保可复现性，并支持在真实世界数据集上的应用。

实验结果

研究问题

• RQ1 在缺乏样本相似性先验知识或预定义网络的情况下，能否有效估计样本特异性模型？
• RQ2 个性化回归在恢复真实潜在效应大小方面，与全局模型或混合模型相比表现如何？
• RQ3 个性化模型在保持可解释性的同时，能在多大程度上提升异质性数据集中的预测准确性？
• RQ4 样本特异性模型能否揭示联合分析人口统计学和结果数据所未能捕捉的隐藏子群体动态？
• RQ5 个性化模型嵌入与通过拼接人口统计学和结果数据生成的嵌入相比有何差异？

主要发现

• 与基线模型（包括变系数模型和深度学习模型）相比，个性化回归显著降低了样本外预测误差。
• 在模拟研究中，该方法准确恢复了真实效应大小，优于假设固定函数形式或依赖全局模式的模型。
• 个性化模型生成的样本嵌入在人口统计学和投票数据之间实现插值，揭示了拼接或单一数据源无法捕捉的复杂模式。
• 在宾夕法尼亚州县份分析中，尽管拉克瓦纳县和亚历格尼县的投票结果相似，但其嵌入因人口结构差异而显著分离，揭示了投票行为背后截然不同的潜在原因。
• 个性化模型嵌入形成了一种平衡人口统计学和结果信息的结构，而仅基于人口统计学或结果数据的嵌入则不具备这种平衡。
• 该框架实现了对子群体动态的细粒度解释，例如在人口结构相似的县份中揭示出不同的投票动因，而这些在标准联合建模方法中会被忽略。