[논문 리뷰] Bayesian Nonparametric Federated Learning of Neural Networks

Mikhail Yurochkin, Mayank Agarwal외 4명|arXiv (Cornell University)|2019. 05. 28.

Privacy-Preserving Technologies in Data인용 수 147

한 줄 요약

베이지안 비모수 프레임워크(Beta-Bernoulli 프로세스)가 로컬에서 학습되었거나 사전학습된 신경망들을 데이터 풀링 없이 압축된 글로벌 모델로 통합하며, 하나의 커뮤니케이션 라운드에서 가능할 수 있다.

ABSTRACT

In federated learning problems, data is scattered across different servers and exchanging or pooling it is often impractical or prohibited. We develop a Bayesian nonparametric framework for federated learning with neural networks. Each data server is assumed to provide local neural network weights, which are modeled through our framework. We then develop an inference approach that allows us to synthesize a more expressive global network without additional supervision, data pooling and with as few as a single communication round. We then demonstrate the efficacy of our approach on federated learning problems simulated from two popular image classification datasets.

연구 동기 및 목표

• 개인정보, 비용 또는 규제로 인해 데이터를 모을 수 없는 경우 연합 학습의 동기를 제시한다.
• 데이터 소스 간 로컬 신경망 구성요소를 매치하고 병합하기 위한 BNP 프레임워크를 제안한다.
• 이질적인 로컬 학습자를 허용하기 위해 로컬 모델 학습과 글로벌 집계를 분리한다.
• 전체 로컬 매개변수의 합보다 적은 매개변수를 가지는 압축된 글로벌 모델을 달성한다.

제안 방법

• 로컬 신경망 뉴런을 Beta 프로세스에서 뽑힌 원자와 Bernoulli 프로세스를 사용해 배치별로 글로벌 원자를 선택한다.
• 일치된 로컬 뉴런을 바탕으로 글로벌 뉴런 매개변수를 추정하기 위해 MAP 추정치를 사용한다 (Proposition 1).
• 로컬 뉴런을 글로벌 원자에 최적으로 매칭하기 위한 Hungarian 알고리즘 기반 할당을 적용한다 (Propositions 2와 3).
• 단일 계층 매칭을 다층 네트워크로 확장하고, 글로벌 레이어 원자를 위한 상향식/하향식 생성 과정 및 계층별 매칭을 도입한다 (Definitions 1 및 Propositions 3–4).
• 글로벌 모델에서 로컬 가중치를 재초기화하고 재매칭하여 글로벌 네트워크를 업데이트하는 추가 커뮤니케이션 라운드를 허용한다 (Section 3.3).

실험 결과

연구 질문

• RQ1 다른 데이터 소스로부터의 로컬 신경망 매개변수를 확률적으로 매칭하여 데이터를 공유하지 않고도 일관된 글로벌 신경망을 형성할 수 있는가?
• RQ2 Beta-Bernoulli 프로세스 기반 매칭이 단순한 앙상블과 간단한 연합 평균보다 더 우수한 압축된 글로벌 모델을 제공하는가?
• RQ3 연합 학습 환경에서 단일 계층에서 다층(깊은) 네트워크로의 확장성은 어떠한가?
• RQ4 추가 커뮤니케이션 라운드가 글로벌 모델 성능과 크기에 미치는 영향은 무엇인가?

주요 결과

• PFNM은 단일 커뮤니케이션 라운드에서 여러 로컬 모델로부터 글로벌 신경망을 합성할 수 있다.
• 해당 방법은 모든 로컬 매개변수의 합보다 적은 매개변수를 갖는 압축된 글로벌 모델을 산출한다.
• PFNM은 동질적 및 이질적 파티션에서 MNIST 및 CIFAR-10 설정에서 로컬 모델과 연합 평균보다 우수하다.
• 추가 커뮤니케이션에서도 PFNM은 기준치보다 우수하고 앙상블과의 경쟁력을 유지하며 더 작은 크기를 유지한다.
• 실험은 L_j = 100 은닉 뉴런과 같은 고정 크기의 로컬 네트워크를 사용하여 상당한 압축 및 성능 향상을 입증한다.
• 이 방법은 학습 데이터에 접근하지 않고도 사전에 학습된 레거시 모델의 결합을 지원한다.