[논문 리뷰] Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems

Minh N. H. Nguyen, Shashi Raj Pandey외 5명|arXiv (Cornell University)|2020. 01. 01.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 8

한 줄 요약

이 논문은 학습 유사도를 기반으로 클라이언트 그룹을 동적으로 형성하기 위해 응집형 군집화를 사용하는 자기조직화 계층적 분산학습 프레임워크인 DemLearn을 제안한다. 이는 대규모 AI 시스템에서 일반화와 전문화를 향상시킨다. 방법은 하향식 계층적 업데이트를 통해 반복적으로 개인화 및 일반화 학습 문제를 해결하며, MNIST, Fashion-MNIST, FE-MNIST 및 CIFAR-10에서 기존의 피어드 학습(Federated Learning)보다 일반화 성능이 뛰어나면서도 클라이언트별 성능을 유지한다.

ABSTRACT

Emerging cross-device artificial intelligence (AI) applications require a transition from conventional centralized learning systems towards large-scale distributed AI systems that can collaboratively perform complex learning tasks. In this regard, democratized learning (Dem-AI) lays out a holistic philosophy with underlying principles for building large-scale distributed and democratized machine learning systems. The outlined principles are meant to study a generalization in distributed learning systems that goes beyond existing mechanisms such as federated learning. Moreover, such learning systems rely on hierarchical self-organization of well-connected distributed learning agents who have limited and highly personalized data and can evolve and regulate themselves based on the underlying duality of specialized and generalized processes. Inspired by Dem-AI philosophy, a novel distributed learning approach is proposed in this paper. The approach consists of a self-organizing hierarchical structuring mechanism based on agglomerative clustering, hierarchical generalization, and corresponding learning mechanism. Subsequently, hierarchical generalized learning problems in recursive forms are formulated and shown to be approximately solved using the solutions of distributed personalized learning problems and hierarchical update mechanisms. To that end, a distributed learning algorithm, namely DemLearn is proposed. Extensive experiments on benchmark MNIST, Fashion-MNIST, FE-MNIST, and CIFAR-10 datasets show that the proposed algorithms demonstrate better results in the generalization performance of learning models in agents compared to the conventional FL algorithms. The detailed analysis provides useful observations to further handle both the generalization and specialization performance of the learning models in Dem-AI systems.

연구 동기 및 목표

• 피어드 학습 시스템에서 모델의 일반화와 개인화 사이에 존재하는 본질적 상충 관계를 해결하기 위해.
• 동적 계층적 구조를 통해 전문화 및 일반화 학습을 모두 지원하는 확장 가능한 탈중앙화 학습 프레임워크를 개발하기 위해.
• 민주화된 AI(Dem-AI) 원칙을 영감으로 삼아, 에이전트의 학습 특성에 기반해 자율적으로 조직되는 대규모 분산 AI 시스템을 구현하기 위해.
• 실제 벤치마크 데이터셋에서 계층적 일반화와 개인화 학습의 효과를 검증하기 위해.

제안 방법

• 학습 매개변수 또는 기울기 유사도를 기반으로 학습 에이전트를 군집화하기 위해 응집형 계층적 군집화를 사용한다.
• 하향식으로 반복되는 계층적 일반화 및 개인화 학습 문제의 수식을 구성한다.
• 클라이언트 수준에서 개인화 학습 문제를 해결하고, 계층적 업데이트 메커니즘을 적용하여 그룹 모델과 글로벌 모델을 개선한다.
• 주기적인 계층적 그룹 구조 재구성 기능을 지원하는 새로운 분산 알고리즘인 DemLearn을 도입한다.
• 군집화를 위한 유클리드 거리 및 코사인 유사도 기반 군집화를 모두 지원하며, 구성 가능한 군집 전략을 제공한다.
• 클라우드 서버(글로벌 모델), 지역 엣지 서버(그룹 관리자), 분산 학습 에이전트로 구성된 삼단계 아키텍처를 구현한다.

실험 결과

연구 질문

• RQ1 비i.i.d. 및 개인화된 데이터가 존재하는 환경에서 분산 학습 시스템이 일반화와 개인화 사이의 균형을 어떻게 달성할 수 있는가?
• RQ2 자기조직화 계층적 군집화가 클라이언트 모델의 일반화 성능를 향상시키면서도 전문화도 저해하지 않을 수 있는가?
• RQ3 학습 특성에 기반한 동적 그룹 형성이 모델 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ4 대규모 분산 학습에서 계층적 구조가 통신 및 계산 비용에 어떤 영향을 미치는가?

주요 결과

• DemLearn는 모든 데이터셋에서 기존 피어드 학습보다 더 뛰어난 일반화 성능를 보이며, C-GEN 점수도 높게 유지한다.
• 알고리즘은 강력한 클라이언트별 성능(C-SPE)을 유지하면서 전문화와 일반화 사이의 균형을 잘 달성한다.
• MNIST 데이터셋에서 유클리드 군집화를 사용한 DemLearn는 50개의 글로벌 라운드 후 95% 이상의 테스트 정확도를 달성하며, 기준 피어드 학습 방법을 능가한다.
• 코사인 유사도 기반 계층적 군집화는 특히 고차원 특성 공간에서 초기 라운드에서 더 빠른 수렴을 보인다.
• 단일 글로벌 모델을 초월하는 다수준 일반화 모델을 지원하여, 변화가 빠른 환경에서 확장성과 강건성을 확보한다.
• 군집화에 소요되는 계산 비용은 극히 낮아(50개 클라이언트 기준 1단계당 0.0015초), 실시간 구현에 실용적이다.