[论文解读] High-dimensional Varying Index Coefficient Models via Stein's Identity

Sen Na, Zhuoran Yang+2 more|arXiv (Cornell University)|Oct 16, 2018

Random Matrices and Applications参考文献 44被引用 9

一句话总结

该论文提出了一种基于Stein恒等式的计算高效方法，用于估计高维变系数索引模型，无需估计未知的链接函数。在弱矩条件假设下，该方法实现了最优（至对数因子）的统计收敛速率，能够对重尾数据进行稳健估计，尤其适用于稀疏或低秩的系数矩阵。

ABSTRACT

We study the parameter estimation problem for a varying index coefficient model in high dimensions. Unlike the most existing works that iteratively estimate the parameters and link functions, based on the generalized Stein's identity, we propose computationally efficient estimators for the high-dimensional parameters without estimating the link functions. We consider two different setups where we either estimate each sparse parameter vector individually or estimate the parameters simultaneously as a sparse or low-rank matrix. For all these cases, our estimators are shown to achieve optimal statistical rates of convergence (up to logarithmic terms in the low-rank setting). Moreover, throughout our analysis, we only require the covariate to satisfy certain moment conditions, which is significantly weaker than the Gaussian or elliptically symmetric assumptions that are commonly made in the existing literature. Finally, we conduct extensive numerical experiments to corroborate the theoretical results.

研究动机与目标

• 开发一种计算高效的高维变系数索引模型估计器，其中协变量数量超过样本量。
• 在无需迭代估计未知链接函数的前提下估计系数矩阵，以避免在高维情形下计算不可行。
• 在最小分布假设下实现最优统计收敛速率，例如仅需矩条件而非高斯分布或椭球对称性假设。
• 在统一框架下处理稀疏与低秩系数矩阵结构，并提供理论保证。

提出的方法

• 利用广义Stein恒等式构造估计方程，避免对非参数链接函数进行估计。
• 将估计问题建模为使用来自Stein恒等式的得分函数的正则化最小二乘回归。
• 对系数矩阵施加稀疏性诱导或低秩正则化（如L1范数或核范数），以实现高维估计。
• 采用截断论证处理重尾协变量，并在弱矩条件下建立理论保证。
• 求解所得凸优化问题，获得计算上可行且统计一致的估计量。
• 采用两步法：首先利用经验矩构造得分函数；其次通过凸松弛法估计系数矩阵。

实验结果

研究问题

• RQ1 我们能否在不估计未知链接函数的前提下，高效估计高维变系数索引模型？
• RQ2 在系数矩阵为稀疏或低秩且仅在弱矩假设下，可实现何种统计收敛速率？
• RQ3 与现有迭代方法相比，该方法在重尾或非高斯协变量分布下的表现如何？
• RQ4 在高维设置下，该估计器能否在不依赖强分布假设的前提下实现极小极大最优性（至对数因子）？
• RQ5 在合成数据与真实世界数据中，该方法在维度和样本量增加时的可扩展性如何？

主要发现

• 所提出的估计器对稀疏系数矩阵实现了最优统计收敛速率（至对数因子）。
• 对于低秩系数矩阵，估计器接近最优，其收敛速率与极小极大下界仅相差对数因子。
• 该方法仅需对协变量施加矩条件，显著弱化了以往研究中常见的高斯或椭球对称性假设。
• 估计器可通过凸优化问题求解，确保计算可行性，并避免了迭代方法中的非凸性问题。
• 数值实验验证了理论结果，表明在各种链接函数及重尾分布（如t分布、瑞利分布和威布尔分布）下均表现出一致性能。
• 该方法对模型误设具有鲁棒性，并在样本量相对于维度较小时仍保持优异的有限样本性能。