[論文レビュー] Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems

Minh N. H. Nguyen, Shashi Raj Pandey+5 more|arXiv (Cornell University)|Jan 1, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 8

ひとこと要約

本論文では、学習の類似性に基づいてクライアントのグループを動的に形成する凝集型クラスタリングを用いて、大規模なAIシステムにおける汎化性能と特化性能を向上させる自己組織的階層的分散学習フレームワーク、DemLearnを提案する。この手法は、下位から上位への階層的更新を通じて、繰り返し個人化および一般化学習問題を解決し、MNIST、Fashion-MNIST、FE-MNIST、CIFAR-10において従来のフェデレーテッドラーニング（FL）よりも汎化性能に優れつつ、クライアント固有の性能を維持する。

ABSTRACT

Emerging cross-device artificial intelligence (AI) applications require a transition from conventional centralized learning systems towards large-scale distributed AI systems that can collaboratively perform complex learning tasks. In this regard, democratized learning (Dem-AI) lays out a holistic philosophy with underlying principles for building large-scale distributed and democratized machine learning systems. The outlined principles are meant to study a generalization in distributed learning systems that goes beyond existing mechanisms such as federated learning. Moreover, such learning systems rely on hierarchical self-organization of well-connected distributed learning agents who have limited and highly personalized data and can evolve and regulate themselves based on the underlying duality of specialized and generalized processes. Inspired by Dem-AI philosophy, a novel distributed learning approach is proposed in this paper. The approach consists of a self-organizing hierarchical structuring mechanism based on agglomerative clustering, hierarchical generalization, and corresponding learning mechanism. Subsequently, hierarchical generalized learning problems in recursive forms are formulated and shown to be approximately solved using the solutions of distributed personalized learning problems and hierarchical update mechanisms. To that end, a distributed learning algorithm, namely DemLearn is proposed. Extensive experiments on benchmark MNIST, Fashion-MNIST, FE-MNIST, and CIFAR-10 datasets show that the proposed algorithms demonstrate better results in the generalization performance of learning models in agents compared to the conventional FL algorithms. The detailed analysis provides useful observations to further handle both the generalization and specialization performance of the learning models in Dem-AI systems.

研究の動機と目的

• フェデレーテッドラーニングシステムにおけるモデルの汎化性能とパーソナライズド性能の間の本質的トレードオフを解消すること。
• 動的階層的構造を用いて、特化型と一般化型の両方の学習をサポートするスケーラブルで分散型の学習フレームワークを開発すること。
• エージェントの学習特性に基づいて自己組織化する大規模分散AIシステムを実現すること。これは、デモクラティズドAI（Dem-AI）の原則にインspiredされている。
• 階層的汎化とパーソナライズド学習の有効性を、実世界のベンチマークデータセットを用いて検証すること。

提案手法

• モデルパラメータまたは勾配の類似性に基づいて、学習エージェントをグループ化するための凝集型階層的クラスタリングを用いる。
• 階層的一般化およびパーソナライズド学習問題を、下位から上位への再帰的定式化によって扱う。
• クライアントレベルでパーソナライズド学習問題を解決し、階層的更新メカニズムを適用してグループモデルおよびグローバルモデルを最適化する。
• 階層的グループ構造の定期的再構成をサポートする、新規の分散アルゴリズムであるDemLearnを導入する。
• グループ形成に、ユークリッド距離およびコサイン類似度に基づくクラスタリングをサポートし、設定可能なクラスタリング戦略を提供する。
• クラウドサーバー（グローバルモデル）、地域エッジサーバー（グループマネージャー）、分散学習エージェントの3層アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.かつパーソナライズドなデータが存在する状況下で、分散学習システムが、汎化性能とパーソナライズド性能のバランスをどのように達成できるか。
• RQ2 自己組織的階層的クラスタリングは、クライアントモデルの汎化性能を向上させつつ、特化性能を低下させないか。
• RQ3 学習特性に基づく動的グループ形成が、モデルの収束性と精度に与える影響は何か。
• RQ4 階層的構造は、大規模分散学習における通信コストおよび計算コストにどのように影響を与えるか。

主な発見

• DemLearnは、従来のフェデレーテッドラーニングと比較して、すべてのデータセットで顕著に優れた汎化性能を達成し、C-GENスコアが上回る。
• アルゴリズムはクライアント固有の性能（C-SPE）を強く維持しており、特化と汎化のバランスの取れた性能を示している。
• MNISTデータセットでは、ユークリッドクラスタリングを用いたDemLearnが、50ラウンド目までに95％を超えるテスト精度に達し、ベースラインFL手法を上回る。
• コサイン類似度に基づく階層的クラスタリングは、特に高次元特徴空間において、初期ラウンドでより速い収束を示す。
• 単一のグローバルモデルを超える多段階一般化モデルをサポートしており、動的環境におけるスケーラブルで堅牢な学習を可能にする。
• クラスタリングの計算コストは極めて低く（50クライアントあたり1ステップあたり0.0015秒）、実時間での導入に実用的である。