[论文解读] Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees

Kean Ming Tan, Heather Battey+1 more|arXiv (Cornell University)|Oct 25, 2021

Statistical Methods and Inference被引用 18

一句话总结

本文提出了一种通信高效的分布式分位数回归方法，采用双重平滑方法处理非光滑损失函数，在最小通信量下实现了最优统计保证。该方法在低维设置下建立了有限样本理论，并表明在高维情况下，通过稀疏惩罚版本可在近乎恒定的通信轮次内实现全局收敛速率。

ABSTRACT

We address the problem of how to achieve optimal inference in distributed quantile regression without stringent scaling conditions. This is challenging due to the non-smooth nature of the quantile regression (QR) loss function, which invalidates the use of existing methodology. The difficulties are resolved through a double-smoothing approach that is applied to the local (at each data source) and global objective functions. Despite the reliance on a delicate combination of local and global smoothing parameters, the quantile regression model is fully parametric, thereby facilitating interpretation. In the low-dimensional regime, we establish a finite-sample theoretical framework for the sequentially defined distributed QR estimators. This reveals a trade-off between the communication cost and statistical error. We further discuss and compare several alternative confidence set constructions, based on inversion of Wald and score-type tests and resampling techniques, detailing an improvement that is effective for more extreme quantile coefficients. In high dimensions, a sparse framework is adopted, where the proposed doubly-smoothed objective function is complemented with an $\ell_1$-penalty. We show that the corresponding distributed penalized QR estimator achieves the global convergence rate after a near-constant number of communication rounds. A thorough simulation study further elucidates our findings.

研究动机与目标

• 解决在通信受限条件下实现分布式分位数回归最优统计推断的挑战。
• 克服分位数回归损失函数的非光滑性，该性质使标准分布式方法失效。
• 构建一个理论基础坚实的分布式推断框架，平衡通信成本与统计精度。
• 通过ℓ1-惩罚的双重平滑目标函数，将该方法扩展至高维设置。
• 提供改进的置信集构造方法，尤其在极端分位数系数方面提升覆盖概率。

提出的方法

• 引入双重平滑技术：对局部（每数据源）和全局目标函数均进行平滑处理，以应对非光滑性。
• 采用顺序定义的分布式估计器，通过多轮通信迭代优化估计结果。
• 应用乘子自展法与得分型检验反演法构造置信集，并针对极端分位数进行改进。
• 在高维情况下，将双重平滑目标函数与ℓ1-惩罚结合，以诱导稀疏性并实现最优收敛速率。
• 通过自适应平滑参数控制通信成本与统计误差之间的权衡。
• 通过低维情况下的有限样本分析和高维情况下的渐近收敛率分析，建立理论保证。

实验结果

研究问题

• RQ1 在数据源数量无严格缩放条件的假设下，能否在分布式分位数回归中实现最优统计推断？
• RQ2 在分布式设置中，如何有效处理分位数回归损失的非光滑性，以确保统计最优性？
• RQ3 在分布式分位数回归中，通信成本与统计误差之间的权衡关系如何？
• RQ4 在分布式计算下，不同置信集构造方法（Wald、得分、自展）在覆盖概率与区间宽度方面的表现如何？
• RQ5 能否通过稀疏惩罚的分布式分位数回归估计器，在近乎恒定的通信轮次内实现全局收敛速率？

主要发现

• 双重平滑方法成功缓解了分位数回归损失的非光滑性，使分布式设置下的最优推断成为可能。
• 在低维情况下，该方法在有限样本理论框架下实现了最优收敛速率，清晰揭示了通信成本与统计误差之间的权衡。
• 在置信区间方面，CE-Boot (b) 和 CE-Score 方法表现出更优的覆盖性能，尤其在极端分位数下，模拟结果显示覆盖概率接近 0.95。
• 在高维情况下，ℓ1-惩罚的双重平滑估计器仅需近乎恒定的通信轮次即可达到全局收敛速率。
• 模拟结果表明，DC-Normal 方法覆盖性能差（例如，n=200, m=200 时约为 0.25），而 CE-Boot 和 CE-Score 方法的覆盖概率接近 0.95–0.98。
• CE-Boot (b) 和 CE-Score 方法在置信区间平均宽度上最小化，表明其在精度权衡方面效率更高。