[论文解读] A likelihood-based approach for multivariate categorical response regression in high dimensions

Aaron J. Molstad, Adam J. Rothman|arXiv (Cornell University)|Jul 15, 2020

Advanced Statistical Methods and Models参考文献 36被引用 5

一句话总结

本文提出了一种基于似然的惩罚回归方法，用于高维多变量分类响应，能够同时估计影响边际分布、对数优势比或两者兼有的预测变量。该方法采用结构化惩罚以实现变量选择和可解释性，在泛癌风险预测应用中，其预测准确率和稀疏性均优于现有方法。

ABSTRACT

We propose a penalized likelihood method to fit the bivariate categorical response regression model. Our method allows practitioners to estimate which predictors are irrelevant, which predictors only affect the marginal distributions of the bivariate response, and which predictors affect both the marginal distributions and log odds ratios. To compute our estimator, we propose an efficient first order algorithm which we extend to settings where some subjects have only one response variable measured, i.e., the semi-supervised setting. We derive an asymptotic error bound which illustrates the performance of our estimator in high-dimensional settings. Generalizations to the multivariate categorical response regression model are proposed. Finally, simulation studies and an application in pan-cancer risk prediction demonstrate the usefulness of our method in terms of interpretability and prediction accuracy. An R package implementing the proposed method is available for download at github.com/ajmolstad/BvCategorical.

研究动机与目标

• 开发一种适用于高维设置下（p >> n）多变量分类响应回归的惩罚似然框架。
• 区分仅影响边际分布、仅影响对数优势比或两者均影响的预测变量。
• 通过识别无关预测变量以及影响响应关联的预测变量，实现变量选择。
• 将该方法扩展至半监督设置，其中部分受试者仅测量了一个响应。
• 在高维渐近条件下，通过渐近误差界提供理论保证。

提出的方法

• 采用多项式逻辑回归框架，构建双变量分类响应模型，其系数为三阶张量 β∗ ∈ ℝ^{p×J×K}。
• 应用结构化惩罚，通过在系数向量中鼓励稀疏性，以识别无关预测变量（β∗_{m,:,:} = 0）。
• 引入第二重惩罚，通过约束其对对数优势比的影响，识别仅影响边际分布的预测变量。
• 采用基于主要化-最小化和块坐标下降的高效优化算法计算估计量。
• 通过调整似然函数以处理缺失响应分量，将方法扩展至半监督设置。
• 在高维渐近条件下，推导出估计量的渐近误差界，证明其一致性。

实验结果

研究问题

• RQ1 惩罚似然方法能否在多变量分类响应中有效区分仅影响边际分布、仅影响关联性（对数优势比）或两者均影响的预测变量？
• RQ2 在高维多变量分类回归中，如何在保持边际效应和关联效应可解释性的前提下执行变量选择？
• RQ3 在 p >> n 的高维设置下，所提出的估计量的理论性能保证是什么？
• RQ4 在真实数据中，该方法在预测准确率和稀疏性方面相较于现有方法表现如何？
• RQ5 该方法能否扩展至半监督设置，其中部分受试者仅观测到一个响应？

主要发现

• 在泛癌风险预测研究中，LO-Mult 的联合分类误差最低（28.81%），优于所有其他方法。
• LO-Mult 平均仅选择了 64.56 个基因，少于所有其他方法，表明其具有更优的稀疏性和可解释性。
• 该方法正确识别出年龄和肿瘤分期仅影响边际分布，与临床直觉一致。
• CAV1 被估计仅影响边际概率，而 CLN8 影响对数优势比，且 CLN8 在多种癌症类型中表现出更强的影响。
• 可视化结果显示，CLN8 过表达显著提高了失败概率，尤其在 KIRC 中表现更为明显。
• 渐近误差界证实了估计量在高维情形下的相合性，支持其理论可靠性。