[论文解读] Decentralized RLS with Data-Adaptive Censoring for Regressions over Large-Scale Networks

Zifeng Wang, Zheng Yu+3 more|arXiv (Cornell University)|Dec 25, 2016

Advanced Adaptive Filtering Techniques参考文献 22被引用 4

一句话总结

本文提出了三种针对大规模网络中去中心化递归最小二乘法（D-RLS）算法的数据自适应截断策略，以降低计算和通信开销。通过丢弃低创新性观测值并选择性地传输估计值，所提出的CD-RLS算法在显著减少资源使用的同时，仍能实现对最优解的收敛，且保持了较高的估计精度。

ABSTRACT

The deluge of networked data motivates the development of algorithms for computation- and communication-efficient information processing. In this context, three data-adaptive censoring strategies are introduced to considerably reduce the computation and communication overhead of decentralized recursive least-squares (D-RLS) solvers. The first relies on alternating minimization and the stochastic Newton iteration to minimize a network-wide cost, which discards observations with small innovations. In the resultant algorithm, each node performs local data-adaptive censoring to reduce computations, while exchanging its local estimate with neighbors so as to consent on a network-wide solution. The communication cost is further reduced by the second strategy, which prevents a node from transmitting its local estimate to neighbors when the innovation it induces to incoming data is minimal. In the third strategy, not only transmitting, but also receiving estimates from neighbors is prohibited when data-adaptive censoring is in effect. For all strategies, a simple criterion is provided for selecting the threshold of innovation to reach a prescribed average data reduction. The novel censoring-based (C)D-RLS algorithms are proved convergent to the optimal argument in the mean-square deviation sense. Numerical experiments validate the effectiveness of the proposed algorithms in reducing computation and communication overhead.

研究动机与目标

• 解决大规模网络中去中心化RLS算法带来的高计算与通信成本问题。
• 通过基于创新幅度的数据自适应截断，减少冗余的数据处理与传输。
• 在最小化资源使用的同时，保持与全精度D-RLS相当的估计精度。
• 提出一种阈值选择准则，以实现预定的平均数据压缩率。
• 证明所提出的基于截断的算法在均方根偏差意义下的收敛性。

提出的方法

• 提出第一种截断策略，利用交替优化与随机牛顿迭代方法最小化全网代价函数，丢弃创新性较小的观测值。
• 在每个节点本地实施数据自适应截断以减少计算量，随后通过与邻居交换本地估计值实现一致性。
• 提出第二种策略，当本地估计值对输入数据的创新性最小时，抑制其传输。
• 引入第三种策略，在截断期间同时阻塞邻居估计值的接收，进一步降低通信开销。
• 基于创新幅度推导出一种简单的阈值选择规则，以实现目标平均数据压缩率。
• 利用矩阵扰动与随机逼近工具分析收敛性，证明算法在均方根偏差意义下收敛至最优解。

实验结果

研究问题

• RQ1 数据自适应截断是否能在不牺牲估计精度的前提下，显著降低去中心化RLS中的计算与通信成本？
• RQ2 在完全去中心化的网络环境中，如何有效应用基于创新性的截断机制？
• RQ3 何种阈值准则可确保实现预定的平均数据压缩率，同时保持收敛性？
• RQ4 所提出的三种截断策略在通信与计算节省方面有何对比？
• RQ5 基于截断的CD-RLS算法在均方根偏差意义下的收敛性是否可被严格证明？

主要发现

• 所提出的CD-RLS算法相较于标准D-RLS，在计算与通信开销方面均实现了显著降低。
• 阈值选择准则可精确控制平均数据压缩率，与论文中设定的目标一致。
• 所有三种截断策略均被证明在均方根偏差意义下收敛至最优解。
• 误差的收敛速率在 $ O(1/t) + O(rac{ ext{ln}(t)}{t}) $ 量级，表明其具有渐近收敛性。
• 数值实验验证了算法在降低资源使用的同时保持高估计精度的有效性。
• 第三种策略（在截断期间同时阻塞发送与接收）实现了最高的通信节省。