[论文解读] Distributed High-dimensional Regression Under a Quantile Loss Function

Xi Chen, Weidong Liu+2 more|arXiv (Cornell University)|Jun 13, 2019

Statistical Methods and Inference参考文献 40被引用 32

一句话总结

本文通过量化损失开发了一个用于高维回归、带有重尾噪声的分布式估计器，将 QR 转换为带惩罚的最小二乘形式，以实现高效通信和支持恢复。

ABSTRACT

This paper studies distributed estimation and support recovery for high-dimensional linear regression model with heavy-tailed noise. To deal with heavy-tailed noise whose variance can be infinite, we adopt the quantile regression loss function instead of the commonly used squared loss. However, the non-smooth quantile loss poses new challenges to high-dimensional distributed estimation in both computation and theoretical development. To address the challenge, we transform the response variable and establish a new connection between quantile regression and ordinary linear regression. Then, we provide a distributed estimator that is both computationally and communicationally efficient, where only the gradient information is communicated at each iteration. Theoretically, we show that, after a constant number of iterations, the proposed estimator achieves a near-oracle convergence rate without any restriction on the number of machines. Moreover, we establish the theoretical guarantee for the support recovery. The simulation analysis is provided to demonstrate the effectiveness of our method.

研究动机与目标

• 在分布式设置下为具有重尾噪声的高维数据提供鲁棒估计的动机。
• 提出一种新的分布式估计量，将量化回归连接到普通最小二乘以提高计算效率。
• 在常数迭代次数下实现接近 oracle 收敛速率。
• 在分布式 QR 情境下建立对支持恢复的理论保证。
• 通过基于梯度的协调方案展示计算和通信的高效性。

提出的方法

• 使用伪响应将量化回归转换为惩罚最小二乘问题，以实现 Lasso 机制。
• 开发一种分布式近似牛顿方法，每次迭代仅通信 p+1 维梯度。
• 使用核密度估计来估计变换中在零处的 QR 密度。
• 通过一系列密度估计和梯度聚合进行迭代更新，以细化估计量。
• 通过利用局部计算和聚合的梯度状项来避免传输完整的协方差矩阵。
• 从一台机器上的局部 QR 求解提供初始估计量，并通过多轮分布式迭代进行细化。

实验结果

研究问题

• RQ1 在分布式设置中，使用量化损失是否能够有效估计具有重尾噪声的高维回归？
• RQ2 将 QR 转换为惩罚最小二乘问题是否能够在有限通信下实现稀疏恢复和近 oracle 收敛速率？
• RQ3 在最小假设下，提出的分布式估计量的收敛保证和对支持恢复的条件是什么？
• RQ4 在分布式 QR 框架下达到接近 oracle 性能需要多少次迭代？
• RQ5 如何设计通信以依赖梯度信息而非完整矩阵，同时不牺牲精度？

主要发现

• 带伪响应的分布式估计量将 QR 转化为平方损失问题，从而实现高效的 Lasso 型估计。
• 该方法在常数迭代次数后实现接近 oracle 的收敛速率，且不限制机器数量。
• 建立了对支持恢复的保证，且 beta-min 条件随迭代次数改善。
• 该算法每次迭代仅通信 p+1 维梯度，避免传输大矩阵。
• 该方法在无需有限方差假设的情况下也能容纳非常重尾的噪声。
• 初始和迭代步骤利用核密度估计以及局部-远程梯度聚合以确保鲁棒性和稀疏性。