[论文解读] On Low-rank Trace Regression under General Sampling Distribution

Nima Hamidi, Mohsen Bayati|arXiv (Cornell University)|Apr 18, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用 7

一句话总结

本文在一般抽样分布下，通过一种新颖的尖峰性条件，建立了低秩迹回归的非渐近误差界，实现了受限强凸性。证明了即使在理论启发的阈值未知时，交叉验证选择的正则化参数仍能达到近似最优性能，且在合成数据和真实世界数据的模拟中优于传统方法。

ABSTRACT

In this paper, we study the trace regression when a matrix of parameters B* is estimated via the convex relaxation of a rank-regularized regression or via regularized non-convex optimization. It is known that these estimators satisfy near-optimal error bounds under assumptions on the rank, coherence, and spikiness of B*. We start by introducing a general notion of spikiness for B* that provides a generic recipe to prove the restricted strong convexity of the sampling operator of the trace regression and obtain near-optimal and non-asymptotic error bounds for the estimation error. Similar to the existing literature, these results require the regularization parameter to be above a certain theory-inspired threshold that depends on observation noise that may be unknown in practice. Next, we extend the error bounds to cases where the regularization parameter is chosen via cross-validation. This result is significant in that existing theoretical results on cross-validated estimators (Kale et al., 2011; Kumar et al., 2013; Abou-Moustafa and Szepesvari, 2017) do not apply to our setting since the estimators we study are not known to satisfy their required notion of stability. Finally, using simulations on synthetic and real data, we show that the cross-validated estimator selects a near-optimal penalty parameter and outperforms the theory-inspired approach of selecting the parameter.

研究动机与目标

• 提出一种通用的尖峰性概念，以确保在低秩迹回归中抽样算子的受限强凸性。
• 在一般抽样分布下，推导凸与非凸估计器的非渐近误差界，且独立于特定的噪声或设计假设。
• 将理论保证扩展至交叉验证估计器，而这些估计器未被先前基于稳定性的理论框架所涵盖。
• 通过实证验证，表明交叉验证可选择接近最优的正则化参数，并在有限样本中优于理论启发的选择。

提出的方法

• 提出对真实参数矩阵 $\mathbf{B}^\star$ 的通用尖峰性条件，以确保抽样算子的受限强凸性。
• 利用该条件，在一般抽样分布下推导迹回归估计器的非渐近误差界。
• 将该框架应用于凸优化（迹范数正则化）与非凸优化（因子分解）方法。
• 尽管先前的理论框架无法保证其稳定性，仍建立了交叉验证估计器的理论性能保证。
• 采用多种交叉验证变体，包括标准 $k$-折、重训练和过拟合版本，以比较惩罚参数选择策略。
• 在合成数据和真实数据（如 Movielens）上进行大量模拟实验，评估相对误差与惩罚参数选择行为。

实验结果

研究问题

• RQ1 能否定义一种通用的尖峰性条件，以确保在任意抽样分布下迹回归中的受限强凸性？
• RQ2 当正则化参数通过交叉验证选择时，迹回归估计器的误差界是否仍保持非渐近且近似最优？
• RQ3 在估计精度与惩罚参数选择方面，交叉验证与理论启发的阈值选择相比如何？
• RQ4 不同交叉验证方案（如 $k$-折与过拟合）在低秩矩阵估计中的经验行为如何？
• RQ5 即使先前理论无法保证其稳定性，交叉验证估计器是否仍能实现近似最优性能？

主要发现

• 所提出的尖峰性条件使得在一般分布下可推导出抽样算子的受限强凸性，构成误差界的基础。
• 在一般抽样下，为凸与非凸估计器建立了非渐近误差界，其显式依赖于秩、一致性与尖峰性。
• 尽管未被现有基于稳定性的理论框架覆盖，交叉验证估计器仍能达到近似最优性能。
• 模拟结果表明，交叉验证始终能选择接近最优（oracle）选择的惩罚参数，在有限样本中优于理论启发的阈值。
• cv refit 变体的性能几乎与 oracle 估计器相当，且在低样本或高噪声条件下常优于理论启发方法。
• 过拟合交叉验证变体在高噪声环境下表现较差，但在中低噪声且 $n$ 不够大的情况下表现出反直觉的优异性能，这归因于 $\lambda=0$ 时的精确恢复特性。