[论文解读] Computationally and Statistically Efficient Truncated Regression

Constantinos Daskalakis, Themis Gouleakis+2 more|arXiv (Cornell University)|Oct 22, 2020

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

该论文提出了一种计算和统计效率均较高的截断线性回归估计器，采用无放回的投影随机梯度下降（PSGD）方法，对截断样本的负对数似然进行优化。在协变量满足厚度假设且拥有截断集 $S$ 的预言访问权限的前提下，该方法实现了 $\ell_2$ 误差的 $\tilde{O}(\sqrt{k/n})$ 级别，与最优统计速率一致，同时通过在凸锥上的强凸性保证了计算效率。

ABSTRACT

We provide a computationally and statistically efficient estimator for the classical problem of truncated linear regression, where the dependent variable $y = w^T x + ε$ and its corresponding vector of covariates $x \in R^k$ are only revealed if the dependent variable falls in some subset $S \subseteq R$; otherwise the existence of the pair $(x, y)$ is hidden. This problem has remained a challenge since the early works of [Tobin 1958, Amemiya 1973, Hausman and Wise 1977], its applications are abundant, and its history dates back even further to the work of Galton, Pearson, Lee, and Fisher. While consistent estimators of the regression coefficients have been identified, the error rates are not well-understood, especially in high dimensions. Under a thickness assumption about the covariance matrix of the covariates in the revealed sample, we provide a computationally efficient estimator for the coefficient vector $w$ from $n$ revealed samples that attains $l_2$ error $ ilde{O}(\sqrt{k/n})$. Our estimator uses Projected Stochastic Gradient Descent (PSGD) without replacement on the negative log-likelihood of the truncated sample. For the statistically efficient estimation we only need oracle access to the set $S$.In order to achieve computational efficiency we need to assume that $S$ is a union of a finite number of intervals but still can be complicated. PSGD without replacement must be restricted to an appropriately defined convex cone to guarantee that the negative log-likelihood is strongly convex, which in turn is established using concentration of matrices on variables with sub-exponential tails. We perform experiments on simulated data to illustrate the accuracy of our estimator. As a corollary, we show that SGD learns the parameters of single-layer neural networks with noisy activation functions.

研究动机与目标

• 开发一种计算高效且统计最优的截断线性回归估计器，其中仅可观测到响应变量属于集合 $S \subseteq \mathbb{R}$ 的样本。
• 解决长期存在的截断回归中高效估计的挑战，此前的方法虽具有统计一致性，但缺乏计算保证。
• 证明在协变量和截断集 $S$ 的温和假设下，对截断数据的负对数似然进行无放回的投影 SGD 可实现最优的 $\ell_2$ 误差率。
• 将该框架扩展至在样本数量为线性规模的前提下，可证明地学习具有噪声 ReLU 激活函数的单层神经网络参数。

提出的方法

• 该方法在截断样本的负对数似然上应用无放回的投影随机梯度下降（PSGD），并限制在凸锥内以确保强凸性。
• 利用具有次指数尾部的随机矩阵的浓度性质，建立强凸性，该性质依赖于可观测协变量协方差矩阵的厚度假设。
• 该算法假设对截断集 $S$ 拥有预言访问权限，$S$ 可以是有限个区间的任意并集，从而在建模复杂截断模式时具备灵活性。
• 在估计系数向量被限制于由数据结构和截断集导出的凸锥内的条件下，最小化负对数似然。
• 通过将具有噪声 ReLU 激活的神经网络学习问题重新表述为截断回归任务，将该方法扩展至神经网络学习。
• 理论保证通过高概率浓度界限和次指数随机变量的矩阵浓度不等式推导得出。

实验结果

研究问题

• RQ1 在温和假设下，能否设计一种计算高效的算法，实现截断线性回归中 $\ell_2$ 误差率的最优值 $\tilde{O}(\sqrt{k/n})$？
• RQ2 当限制在由数据结构导出的凸锥内时，对截断数据的负对数似然进行无放回的投影 SGD 是否能保证强凸性和收敛性？
• RQ3 所提出的方法能否扩展至在样本数量为线性规模的前提下，可证明地学习具有噪声 ReLU 激活函数的单层神经网络参数？
• RQ4 为确保统计效率与计算效率，对截断集 $S$ 和协变量分布的最小假设条件是什么？

主要发现

• 在协变量满足厚度假设且拥有截断集 $S$ 的预言访问权限的前提下，所提出的估计器实现了 $\ell_2$ 误差的 $\tilde{O}(\sqrt{k/n})$ 级别。
• 该方法在负对数似然上使用无放回的投影 SGD，其收敛性由基于数据结构导出的凸锥上的强凸性保证。
• 当 $S$ 是 $r$ 个子区间的并集时，该算法可在多项式时间内运行，即使在复杂截断模式下也能保证计算效率。
• 该框架可实现对具有噪声 ReLU 激活函数的单层神经网络参数的可证明学习，以高概率实现误差界 $\mathrm{poly}(1/a) \cdot \frac{BC}{b^2} \cdot \sqrt{\frac{k}{n}\log n}$。
• 在合成数据上的实验表明，该方法能有效校正普通最小二乘法（OLS）因截断导致的偏差，以最优的 $1/\sqrt{n}$ 速率收敛至真实系数向量。
• 在偏差校正方面，该方法优于 OLS，尤其在对抗性截断（如仅保留 $y > 4$）的情况下表现更优，即使 OLS 收敛迅速。