[论文解读] Interaction pursuit in high-dimensional multi-response regression via distance correlation

Yinfei Kong, Daoji Li+2 more|arXiv (Cornell University)|May 11, 2016

Statistical Methods and Inference参考文献 33被引用 4

一句话总结

该论文提出IPDC，一种用于高维多响应回归的两阶段交互作用筛选方法，利用距离相关性进行特征筛选与选择。该方法在不依赖继承性或正态性假设的前提下，实现了保证筛选、支持联合恢复以及Oracle不等式，即使响应数量随样本量增长也成立。

ABSTRACT

Feature interactions can contribute to a large proportion of variation in many prediction models. In the era of big data, the coexistence of high dimensionality in both responses and covariates poses unprecedented challenges in identifying important interactions. In this paper, we suggest a two-stage interaction identification method, called the interaction pursuit via distance correlation (IPDC), in the setting of high-dimensional multi-response interaction models that exploits feature screening applied to transformed variables with distance correlation followed by feature selection. Such a procedure is computationally efficient, generally applicable beyond the heredity assumption, and effective even when the number of responses diverges with the sample size. Under mild regularity conditions, we show that this method enjoys nice theoretical properties including the sure screening property, support union recovery, and oracle inequalities in prediction and estimation for both interactions and main effects. The advantages of our method are supported by several simulation studies and real data analysis.

研究动机与目标

• 解决在响应数量发散的高维多响应回归中识别显著特征交互作用的挑战。
• 克服现有方法依赖于继承性或协变量联合正态性等强假设的局限性。
• 开发一种计算高效的、模型无关的方法，同时处理主效应与交互作用。
• 在较弱的正则性条件下，为交互作用与主效应选择建立理论保证。

提出的方法

• 在两阶段过程中应用距离相关性，对经平方变换的变量进行筛选，以识别重要交互作用。
• 基于变换后的预测变量与响应之间的距离相关性，设计一个筛选步骤，以在选择前降低维度。
• 采用惩罚估计的特征选择步骤，以同时估计主效应与交互作用。
• 引入平方变换，以增强对交互作用检测中非线性依赖关系的敏感性。
• 理论分析基于Bernstein型不等式与矩条件，推导估计误差的统一界。
• 该方法设计为对非正态性具有鲁棒性，且无需依赖继承性假设。

实验结果

研究问题

• RQ1 基于距离相关性的筛选是否能在不假设继承性或正态性的前提下，有效识别高维多响应模型中的重要交互作用？
• RQ2 所提出的两阶段方法是否在响应维度发散的高维设置下，实现保证筛选性质？
• RQ3 在较弱的矩条件与尾部条件约束下，该方法能否实现主效应与交互作用的真实支持集合的联合恢复？
• RQ4 在所提出的框架下，所选模型的预测误差与估计误差界（Oracle不等式）是什么？

主要发现

• IPDC方法实现了保证筛选性质，即随着样本量增加，所有重要交互作用与主效应均有高概率被保留。
• 该方法在较弱正则性条件下确保支持联合恢复，正确识别出相关主效应与交互作用的集合。
• 建立了预测误差与估计误差的Oracle不等式，表明该方法的表现几乎与已知真实模型时相当。
• 即使响应数量 $ q $ 随样本量 $ n $ 发散，理论保证依然成立，条件为 $ q o ext{poly}(n) $ 且 $ ext{poly}( ext{log} p) = o(n^{1/3}) $。
• 模拟研究证实，该方法在检测交互作用方面优于现有方法，尤其在非正态与非继承性设定下表现更优。
• 真实数据分析展示了该方法在识别高维组学数据中生物相关交互作用方面的实际应用价值。