[论文解读] Distributed Picard Iteration: Application to Distributed EM and Distributed PCA.

Francisco L. Andrade, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Jun 20, 2021

Sparse and Compressive Sensing Techniques参考文献 18被引用 4

一句话总结

本文提出了一种基于分布式皮卡德迭代（DPI）的期望最大化（EM）和主成分分析（PCA）的分布式算法，该方法使网络中的各节点通过迭代通信收敛到局部压缩映射的不动点。主要贡献在于证明了分布式EM和PCA的局部线性收敛性，通过展示其更新规则对应于局部压缩映射的平均形式，且该映射由各节点本地持有的局部映射构成，从而继承了DPI的收敛保证。

ABSTRACT

In recent work, we proposed a distributed Picard iteration (DPI) that allows a set of agents, linked by a communication network, to find a fixed point of a locally contractive (LC) map that is the average of individual maps held by said agents. In this work, we build upon the DPI and its local linear convergence (LLC) guarantees to make several contributions. We show that Sanger's algorithm for principal component analysis (PCA) corresponds to the iteration of an LC map that can be written as the average of local maps, each map known to each agent holding a subset of the data. Similarly, we show that a variant of the expectation-maximization (EM) algorithm for parameter estimation from noisy and faulty measurements in a sensor network can be written as the iteration of an LC map that is the average of local maps, each available at just one node. Consequently, via the DPI, we derive two distributed algorithms - distributed EM and distributed PCA - whose LLC guarantees follow from those that we proved for the DPI. The verification of the LC condition for EM is challenging, as the underlying operator depends on random samples, thus the LC condition is of probabilistic nature.

研究动机与目标

• 将分布式皮卡德迭代（DPI）框架扩展至支持网络化系统中不动点的分布式计算。
• 证明桑格PCA算法可重新表述为一个局部压缩映射的迭代，该映射是各节点持有的局部映射的平均形式。
• 表明传感器网络中EM算法的一种变体在噪声分布式数据条件下，亦可表示为局部压缩映射的迭代。
• 通过在概率假设下验证局部压缩条件，为分布式EM与PCA建立局部线性收敛保证。

提出的方法

• 将桑格PCA算法表述为一个局部压缩映射的迭代，该映射是各节点仅掌握其数据子集的局部映射的平均形式。
• 将一种分布式EM变体重新表述为由各节点本地似然更新导出的局部压缩映射的迭代。
• 将分布式皮卡德迭代（DPI）框架应用于这些重新表述的映射，利用其已有的局部线性收敛（LLC）保证。
• 由于传感器测量中依赖于随机样本，通过概率分析验证EM映射的局部压缩条件。
• 通过将全局映射建模为各节点仅可访问其对应局部映射的平均形式，并仅允许相邻节点间通信，确保收敛性。
• 利用DPI收敛框架，推导出具有理论收敛保证的EM与PCA分布式算法。

实验结果

研究问题

• RQ1 桑格PCA算法能否被解释为各节点持有的局部映射平均形式的局部压缩映射迭代？
• RQ2 在噪声数据条件下，传感器网络的分布式EM算法能否表示为局部压缩映射的迭代？
• RQ3 分布式皮卡德迭代（DPI）框架是否能为分布式EM与PCA提供局部线性收敛保证？
• RQ4 当EM映射依赖于随机样本时，如何验证其局部压缩条件？

主要发现

• 桑格PCA算法对应于一个局部压缩映射的迭代，该映射是各节点仅掌握其数据子集的局部映射的平均形式，从而支持分布式实现。
• 一种用于传感器网络中分布式参数估计的EM算法变体可表示为局部压缩映射的迭代，从而支持分布式计算。
• 由于依赖于噪声测量中的随机样本，EM映射的局部压缩条件以概率方式建立。
• 分布式EM与分布式PCA均继承了DPI框架的局部线性收敛（LLC）保证，确保在较弱条件下实现快速收敛。
• 该框架通过利用本地计算与邻居间通信，实现了PCA与EM的可扩展、去中心化计算。