[论文解读] High Dimensional Data Enrichment: Interpretable, Fast, and Data-Efficient.

T Amir Asiaee, Samet Oymak+2 more|arXiv (Cornell University)|Jun 11, 2018

Statistical Methods and Inference参考文献 18被引用 3

一句话总结

该论文提出了一种快速、可解释且数据高效的估计器，用于高维结构化数据增强模型，该模型包含共享参数和组特定参数，并利用凸优化正则化来强制实现如稀疏性等结构。该研究建立了估计的一致性、非渐近误差界以及一种迭代算法的线性收敛性，展示了在抗癌药物敏感性预测中具有出色的预测性能和可解释性。

ABSTRACT

High dimensional structured data enriched model describes groups of observations by shared and per-group individual parameters, each with its own structure such as sparsity or group sparsity. In this paper, we consider the general form of data enrichment where data comes in a fixed but arbitrary number of groups G. Any convex function, e.g., norms, can characterize the structure of both shared and individual parameters. We propose an estimator for high dimensional data enriched model and provide conditions under which it consistently estimates both shared and individual parameters. We also delineate sample complexity of the estimator and present high probability non-asymptotic bound on estimation error of all parameters. Interestingly the sample complexity of our estimator translates to conditions on both per-group sample sizes and the total number of samples. We propose an iterative estimation algorithm with linear convergence rate and supplement our theoretical analysis with synthetic and real experimental results. Particularly, we show the predictive power of data-enriched model along with its interpretable results in anticancer drug sensitivity analysis.

研究动机与目标

• 解决在复杂结构约束（如稀疏性）下，对具有共享和组特定参数的高维结构化数据进行建模的挑战。
• 开发一种估计器，确保在高维设置下对共享和个体参数的一致估计。
• 从每组样本量和总样本量的角度，表征估计器的样本复杂度。
• 设计一种具有可证明线性收敛率的迭代算法，以实现高效优化。
• 在真实世界生物数据上，特别是抗癌药物敏感性分析中，展示模型的预测能力和可解释性。

提出的方法

• 使用一般凸函数对共享和个体参数进行正则化，以构建数据增强模型，从而实现如稀疏性和组稀疏性等结构。
• 提出一种基于凸优化的估计器，在结构约束下联合估计共享和组特定参数。
• 在温和正则性条件下，建立所有参数估计误差的非渐近、高概率界。
• 推导出依赖于每组样本量和总样本数的样本复杂度条件。
• 设计一种具有线性收敛速率的迭代优化算法，以实现在大规模数据上的高效计算。
• 在合成数据和真实世界抗癌药物敏感性数据上实现并评估该方法，以验证其性能和可解释性。

实验结果

研究问题

• RQ1 在何种条件下，能够一致估计高维数据增强模型中的共享和个体参数？
• RQ2 该估计器的样本复杂度如何依赖于每组样本量和总样本量？
• RQ3 在凸正则化下，所提估计器的非渐近期望误差界是什么？
• RQ4 所提的迭代算法能否实现优化问题的线性收敛？
• RQ5 该数据增强模型在真实世界生物数据上的预测准确性和可解释性表现如何？

主要发现

• 在温和正则性条件下，所提估计器能够实现对共享和个体参数的一致估计。
• 推导出估计误差的非渐近期望界，为有限样本性能提供了理论保证。
• 样本复杂度依赖于每组样本量和总样本量，为实验设计提供了实际指导。
• 迭代算法实现线性收敛，确保快速收敛至最优解。
• 该模型在抗癌药物敏感性分析中表现出强大的预测性能和可解释性结果。
• 凸正则化方法实现了结构化估计（如稀疏性），同时保持了理论和计算上的可处理性。