[論文レビュー] Multi-Agent Distributed Lifelong Learning for Collective Knowledge Acquisition

Mohammad Rostami, Soheil Kolouri+2 more|arXiv (Cornell University)|Sep 15, 2017

Distributed Sensor Networks and Detection Algorithms被引用数 9

ひとこと要約

本稿では、ADMMを介して知識ベースを共有することで、中央集権的協調や生データの共有なしに学習速度と漸近的性能を向上させつつ、複数のエージェントが協働してタスクを学習できる分散型のマルチエージェント分散型生涯学習フレームワークCoLLAを提案する。CoLLAは、複数のMTLベンチマークにおいて、単一エージェントおよび非協働ベースラインを上回る優れた性能を達成する。

ABSTRACT

Lifelong machine learning methods acquire knowledge over a series of consecutive tasks, continually building upon their experience. Current lifelong learning algorithms rely upon a single learning agent that has centralized access to all data. In this paper, we extend the idea of lifelong learning from a single agent to a network of multiple agents that collectively learn a series of tasks. Each agent faces some (potentially unique) set of tasks; the key idea is that knowledge learned from these tasks may benefit other agents trying to learn different (but related) tasks. Our Collective Lifelong Learning Algorithm (CoLLA) provides an efficient way for a network of agents to share their learned knowledge in a distributed and decentralized manner, while preserving the privacy of the locally observed data. Note that a decentralized scheme is a subclass of distributed algorithms where a central server does not exist and in addition to data, computations are also distributed among the agents. We provide theoretical guarantees for robust performance of the algorithm and empirically demonstrate that CoLLA outperforms existing approaches for distributed multi-task learning on a variety of data sets.

研究の動機と目的

• 分散型でプライベート、または共有が高コストなデータを含む現実世界のシナリオにおける単一エージェント生涯学習の限界を克服すること。
• データプライバシーを保ちながら、中央集権的協調を回避し、エージェントネットワークが共同でタスクを学習できる仕組みを提供すること。
• オンラインでスケーラブルかつ耐障害性を備えたエージェント間で分散型最適化フレームワークを構築すること。
• 協働的知識共有が学習速度を向上させ、多様なMTLデータセットにおける性能を向上させることを実証的に検証すること。

提案手法

• パラメトリックアプローチを用いて、マルチエージェント生涯学習問題をオンライン分散マルチタスク最適化として定式化する。
• 各エージェントの知識ベースを、タスク固有のアトムのスパースな組み合わせとして表現することで、学習済み表現の転送を可能にする。
• 交替方向乗数法（ADMM）を用いて、グローバル最適化問題を個々のエージェントが解ける局所的サブ問題に分解する。
• ネストされたループを用いてオンラインかつ分散型の運用を維持し、段階的学習と一貫性形成を可能にする。
• 生モデルパラメータの共有ではなく、知識ベースの共有により、知識の転送を実現し、データプライバシーを保護する。
• エージェントが隣接エージェントが共有する知識ベースに基づいて自身の知識ベースを更新する分散型通信スキームを実装する。

実験結果

リサーチクエスチョン

• RQ1 分散型エージェントネットワークが、孤立学習と比較して、集団的知識共有を通じてより優れた生涯学習性能を達成できるか？
• RQ2 エージェント間通信の構造（グラフトポロジー）が、分散型生涯学習における学習速度と性能に与える影響は何か？
• RQ3 協働学習は、新しいタスクにおける収束速度の向上と初期性能の向上（ジャンプスタート効果）をもたらすか？
• RQ4 提案されたアルゴリズムは、分散型、オンライン型、プライバシー保護型の環境でも、頑健な性能と収束保証を維持できるか？

主な発見

• CoLLAは、標準的なMTLベンチマークにおいて、ELL（単一エージェント生涯学習）およびGO-MTLを上回り、学習速度と漸近的性能の両面で顕著な優位性を示した。
• ランドマイニング（LM）、ロンドンスクール（LS）、コンピューターサーベイ（CS）、顔の感情（FE）データセットにおいて、CoLLAはそれぞれ6.87、29.62、51.44、40.87の平均パフォーマンススコアを達成し、ELLの6.21、29.30、37.99、38.69を上回った。
• オフライン版CoLLAは、GO-MTLと同等の性能を達成し、分散型MTLアルゴリズムとしての有効性を裏付けた。
• 新しいタスクにおけるジャンプスタート効果は、初期学習段階で最も顕著に現れ、協働的知識ベース共有の利点を確認した。
• 高い接続性（完全グラフやスターグラフなど）を持つネットワークでは、学習速度が速く、通信の増加が学習速度の向上に寄与することを示した。
• 異なるデータセットおよびグラフトポロジーを対象に、オンラインおよびオフラインの両設定で、アルゴリズムが収束性とスケーラビリティに優れていることが実証された。