[论文解读] Communication Optimality Trade-offs For Distributed Estimation

Anit Kumar Sahu, Dušan Jakovetić+1 more|arXiv (Cornell University)|Jan 12, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 23被引用 9

一句话总结

本文提出 CREDO，一种在类似物联网的网络中针对流式时间序列数据的通信高效、无主节点的分布式估计算法。通过自适应地稀疏化节点间通信，CREDO 实现了均方误差衰减速率 Θ(𝒞ₜ⁻²⁺ᶻ)，其中任意小的 z > 0，显著优于先前的 Θ(𝒞ₜ⁻¹) 速率，同时确保几乎必然收敛和最优渐近协方差。

ABSTRACT

This paper proposes $\mathbf{C}$ommunication efficient $\mathbf{RE}$cursive $\mathbf{D}$istributed estimati$\mathbf{O}$n algorithm, $\mathcal{CREDO}$, for networked multi-worker setups without a central master node. $\mathcal{CREDO}$ is designed for scenarios in which the worker nodes aim to collaboratively estimate a vector parameter of interest using distributed online time-series data at the individual worker nodes. The individual worker nodes iteratively update their estimate of the parameter by assimilating latest locally sensed information and estimates from neighboring worker nodes exchanged over a (possibly sparse) time-varying communication graph. The underlying inter-worker communication protocol is adaptive, making communications increasingly (probabilistically) sparse as time progresses. Under minimal conditions on the inter-worker information exchange network and the sensing models, almost sure convergence of the estimate sequences at the worker nodes to the true parameter is established. Further, the paper characterizes the performance of $\mathcal{CREDO}$ in terms of asymptotic covariance of the estimate sequences and specifically establishes the achievability of optimal asymptotic covariance. The analysis reveals an interesting interplay between the algorithm's communication cost~$\mathcal{C}_{t}$ (over $t$ time-steps) and the asymptotic covariance. Most notably, it is shown that $\mathcal{CREDO}$ may be designed to achieve a $Θ\left(\mathcal{C}_{t}^{-2+ζ} ight)$ decay of the mean square error~($ζ>0$, arbitrarily small) at each worker node, which significantly improves over the existing $ Θ\left(\mathcal{C}_{t}^{-1} ight)$ rates. Simulation examples on both synthetic and real data sets demonstrate $\mathcal{CREDO}$'s communication efficiency.

研究动机与目标

• 解决在无主节点、去中心化的网络中，面对流式、分布式数据和有限通信资源时的分布式参数估计挑战。
• 设计一种递归的、分布式的算法，在时变的、可能稀疏的通信图中，保持估计精度的同时最小化通信成本。
• 在对网络拓扑和感知模型的假设尽可能少的前提下，建立关于几乎必然收敛和最优渐近协方差的理论保证。
• 刻画通信成本 𝒞ₜ 与均方误差（MSE）衰减速率之间的权衡，实现相对于现有方法的超线性改进。

提出的方法

• CREDO 采用一种递归的分布式估计框架，其中每个工作节点通过在时变通信图上使用本地数据和邻居信息来更新其本地估计。
• 该算法使用一种自适应通信协议，随时间概率性地降低通信频率，实现通信稀疏化而不牺牲收敛性。
• 它结合了随机逼近与类似扩散的更新规则，其中每个节点使用加权平均聚合本地创新和邻居估计。
• 该方法利用时间尺度分离：估计误差以 √t 速率收敛，从而支持渐近正态性分析。
• 关键组件包括递减步长 αₜ、通信稀疏化机制以及基于矩阵的加权方案，以确保收敛性和最优协方差。
• 理论分析依赖于鞅差序列、一致可积性以及渐近正态性结果，推导出估计误差的极限分布。

实验结果

研究问题

• RQ1 能否设计一种分布式估计算法，在无中心协调器的去中心化、流式数据环境中实现最优渐近协方差？
• RQ2 在去中心化的递归估计中，通信成本与估计精度之间的根本权衡是什么？
• RQ3 是否可以实现自适应且概率性的通信稀疏化，同时保持几乎必然收敛和最优误差衰减？
• RQ4 在去中心化、无主节点的网络中，均方误差的衰减速率如何随总通信成本变化？
• RQ5 在何种条件下，估计误差会收敛到具有最优渐近协方差的正态分布？

主要发现

• CREDO 在通信图和感知模型的假设尽可能少的前提下，确保所有工作节点的估计序列几乎必然收敛到真实参数。
• 该算法实现了最优渐近协方差，意味着估计误差的极限分布理论上尽可能紧凑。
• CREDO 实现了均方误差衰减速率为 Θ(𝒞ₜ⁻²⁺ᶻ)，其中任意 z > 0，这相比现有方法的标准 Θ(𝒞ₜ⁻¹) 速率有显著改进。
• 估计误差的渐近分布为多元正态分布，其协方差矩阵为 𝒂𝑰/(2N) + (𝟄 − 𝑰/(2𝒂))⁻¹/(4N)，其中 𝒂 为设计参数，𝑵 为节点数量。
• 单个节点估计与平均估计之间的差异以 √t 速率几乎必然收敛于零，意味着所有节点达到相同的极限分布。
• 在合成数据和真实世界数据上的仿真结果证实了 CREDO 在去中心化、流式环境中的卓越通信效率和鲁棒性。