[论文解读] Distributed Learning for Cooperative Inference

Angelia Nedić, Alex Olshevsky+1 more|arXiv (Cornell University)|Apr 10, 2017

Statistical Methods and Inference被引用 6

一句话总结

本文提出了一种用于网络中协作推理的分布式学习算法，其中各 agent 通过本地观测和与邻居的通信来估计一个共享参数。通过将贝叶斯后验解释为随机镜像下降（SMD）步骤，作者开发了一种分布式算法，实现了 agents 信念在真实参数附近的指数级、非渐近集中，且对紧致和可数假设空间提供了明确的收敛速率边界。

ABSTRACT

We study the problem of cooperative inference where a group of agents interact over a network and seek to estimate a joint parameter that best explains a set of observations. Agents do not know the network topology or the observations of other agents. We explore a variational interpretation of the Bayesian posterior density, and its relation to the stochastic mirror descent algorithm, to propose a new distributed learning algorithm. We show that, under appropriate assumptions, the beliefs generated by the proposed algorithm concentrate around the true parameter exponentially fast. We provide explicit non-asymptotic bounds for the convergence rate. Moreover, we develop explicit and computationally efficient algorithms for observation models belonging to exponential families.

研究动机与目标

• 解决在缺乏全局拓扑信息或他人观测知识的情况下，网络中分布式参数估计的挑战。
• 开发一种分布式算法，使 agents 能够仅通过本地数据和邻居通信，协作推断一个共同参数。
• 在存在网络约束的情况下，提供信念围绕真实参数集中化的非渐近、高概率收敛边界。
• 将算法专门化于指数族模型，以实现计算高效的更新。
• 为可数和紧致参数空间建立几何收敛速率，超越以往针对有限假设集的研究。

提出的方法

• 使用变分分析，将贝叶斯后验公式化为随机优化问题的解。
• 将后验更新重新解释为随机镜像下降（SMD）算法中的一步，从而实现分布式实现。
• 设计一种基于 SMD 的分布式学习协议，其中 agents 通过本地贝叶斯更新和在通信网络上的加权平均，迭代更新信念。
• 使用 Hellinger 距离和覆盖论证，界定信念偏离真实参数的概率。
• 引入一系列收缩的 Hellinger 球，并利用集中不等式，推导出信念准确性的高概率边界。
• 将算法专门化于指数族模型，使每个 agent 的更新规则简化为简单、封闭形式的表达式，从而实现高效分布式实现。

实验结果

研究问题

• RQ1 在信息受限的网络环境中，分布式算法能否实现 agents 信念向真实参数的指数级、非渐近收敛？
• RQ2 网络拓扑如何影响分布式学习的瞬态阶段和稳态收敛速率？
• RQ3 所提方法能否扩展至连续（紧致）参数空间，而不仅限于有限或可数假设集？
• RQ4 信念集中的显式、非渐近收敛速率如何以网络规模、观测噪声和置信水平表示？
• RQ5 如何使算法在如指数族模型等实际模型中实现计算高效？

主要发现

• 所提出的分布式算法确保 agents 的信念以高概率指数级快速集中在真实参数附近。
• 对于任意置信水平 σ ∈ (0,1)，agent 的信念在以 θ* 为中心、半径为 r 的 Hellinger 球内分配质量小于 1−χ exp(−k/32r²) 的概率被限制为 σ。
• 收敛速率是几何的，且具有显式的非渐近边界，取决于网络结构、观测模型和先验分布。
• 即使假设空间是 ℝᵈ 的紧致子集，该算法仍能实现指数集中，扩展了以往仅限于有限或可数集合的研究结果。
• 对于指数族模型，更新规则简化为简单、封闭形式的表达式，从而实现高效的分布式实现。
• 在几何收敛之前的瞬态阶段是有限的，且依赖于网络连通性、覆盖集上的先验质量以及置信水平。