[论文解读] Multi-Agent Distributed Lifelong Learning for Collective Knowledge Acquisition

Mohammad Rostami, Soheil Kolouri+2 more|arXiv (Cornell University)|Sep 15, 2017

Distributed Sensor Networks and Detection Algorithms被引用 9

一句话总结

本文提出 CoLLA，一种去中心化的多智能体分布式终身学习框架，通过 ADMM 实现知识库的共享，使智能体能够协作学习任务，在无需中心化协调或共享原始数据的情况下提升学习速度和渐近性能。CoLLA 在多个多任务学习基准上优于单智能体和非协作基线方法。

ABSTRACT

Lifelong machine learning methods acquire knowledge over a series of consecutive tasks, continually building upon their experience. Current lifelong learning algorithms rely upon a single learning agent that has centralized access to all data. In this paper, we extend the idea of lifelong learning from a single agent to a network of multiple agents that collectively learn a series of tasks. Each agent faces some (potentially unique) set of tasks; the key idea is that knowledge learned from these tasks may benefit other agents trying to learn different (but related) tasks. Our Collective Lifelong Learning Algorithm (CoLLA) provides an efficient way for a network of agents to share their learned knowledge in a distributed and decentralized manner, while preserving the privacy of the locally observed data. Note that a decentralized scheme is a subclass of distributed algorithms where a central server does not exist and in addition to data, computations are also distributed among the agents. We provide theoretical guarantees for robust performance of the algorithm and empirically demonstrate that CoLLA outperforms existing approaches for distributed multi-task learning on a variety of data sets.

研究动机与目标

• 为解决单智能体终身学习在涉及分布式、私有或共享成本较高的现实场景中的局限性。
• 使智能体网络能够在保护数据隐私并避免中心化协调的前提下，共同学习任务。
• 开发一种支持在线、可扩展且鲁棒的跨智能体终身学习的分布式优化框架。
• 通过实证验证，协作式知识共享是否能加速学习并在多样化的多任务学习数据集上提升性能。

提出的方法

• 将多智能体终身学习问题建模为使用参数化方法的在线分布式多任务优化。
• 将每个智能体的知识库表示为任务特定原子的稀疏组合，以实现已学习表征的迁移。
• 采用交替方向乘子法（ADMM）将全局优化分解为可由各智能体独立求解的局部子问题。
• 使用嵌套循环以维持在线和分布式操作，支持增量学习和一致性形成。
• 通过共享知识库（而非原始模型参数）实现知识迁移，保护数据隐私。
• 实施一种去中心化通信机制，使智能体基于邻近智能体共享的知识库来更新自身知识库。

实验结果

研究问题

• RQ1 与孤立学习相比，分布式智能体网络是否可通过集体知识共享实现更优的终身学习性能？
• RQ2 智能体通信结构（图拓扑）如何影响分布式终身学习中的学习速度和性能？
• RQ3 协作学习是否能实现更快的收敛速度和在新任务上的初始性能提升（即‘跳起’效应）？
• RQ4 所提出的算法是否能在去中心化、在线且隐私保护的环境中保持鲁棒的性能和收敛性保证？

主要发现

• CoLLA 在标准多任务学习基准上，无论是学习速度还是渐近性能，均显著优于 ELLA（单智能体终身学习）和 GO-MTL。
• 在 Land Mine（LM）、London Schools（LS）、Computer Survey（CS）和 Facial Expression（FE）数据集上，CoLLA 分别取得了 6.87、29.62、51.44 和 40.87 的平均性能得分，分别超过 ELLA 的 6.21、29.30、37.99 和 38.69。
• 离线版本的 CoLLA 性能与 GO-MTL 相当，证明其作为分布式多任务学习算法的有效性。
• 在新任务上的‘跳起’改进在早期学习阶段最为显著，证实了协作式知识库共享的优势。
• 连通性更高的网络（如完全图或星型图）表现出更快的学习速率，表明更高的通信能力可提升学习速度。
• 该算法在多种数据集和图拓扑结构下，均在在线和离线设置中展现出鲁棒的收敛性和可扩展性。