[논문 리뷰] Decentralized Collaborative Learning of Personalized Models over Networks

Paul Vanhaesebrouck, Aurélien Bellet외 1명|arXiv (Cornell University)|2016. 10. 17.

Distributed Control Multi-Agent Systems참고 문헌 21인용 수 93

한 줄 요약

이 논문은 피어 투 피어 네트워크에서 개인화된 모델을 공동 학습하기 위한 두 가지 이방향, 완전히 분산된 게시 알고리즘을 제안한다. 첫 번째인 모델 전파 알고리즘은 신뢰도 가중치를 적용한 정규화를 통해 유사도 그래프 상에서 국지적으로 훈련된 모델을 부드럽게 만든다. 두 번째인 공동 학습 알고리즘은 분산된 ADMM를 통해 국지 정확도와 모델 부드러움을 동시에 최적화한다. 두 방법 모두 국지 모델보다 유의미하게 뛰어난 성능을 보이며, 특히 이질적인 데이터 환경에서 공동 학습이 더 높은 정확도를 달성한다.

ABSTRACT

We consider a set of learning agents in a collaborative peer-to-peer network, where each agent learns a personalized model according to its own learning objective. The question addressed in this paper is: how can agents improve upon their locally trained model by communicating with other agents that have similar objectives? We introduce and analyze two asynchronous gossip algorithms running in a fully decentralized manner. Our first approach, inspired from label propagation, aims to smooth pre-trained local models over the network while accounting for the confidence that each agent has in its initial model. In our second approach, agents jointly learn and propagate their model by making iterative updates based on both their local dataset and the behavior of their neighbors. To optimize this challenging objective, our decentralized algorithm is based on ADMM.

연구 동기 및 목표

• 분산 네트워크의 에이전트가 국소 데이터와 이웃과의 상호작용만을 사용하여 개인화된 모델을 향상시킬 수 있도록 하기.
• 중앙 집중식 학습의 한계, 즉 개인정보 유출 위험과 높은 통신 비용을 해결하기.
• 대규모 실세계 피어 투 피어 네트워크에 적합한 완전히 비동기적이고 확장 가능한 알고리즘 설계하기.
• 에이전트의 목표를 반영한 유사도 그래프 상에서 국지 모델 정확도와 부드러움을 균형 있게 조절하기.
• 극도로 불균형한 데이터 및 다양한 국지 훈련 세트 크기를 가진 환경에서의 성능 평가하기.

제안 방법

• 에이전트가 먼저 국지 모델을 훈련한 후, 유사도 그래프 상에서 신뢰도 가중치 정규화를 사용해 모델을 전파하는 이중 단계 접근 방식인 모델 전파를 도입한다.
• 각 에이전트의 훈련 세트 크기를 반영하기 위해 신뢰도 값을 사용하여, 더 신뢰할 수 있는 모델이 네트워크에 덜 영향을 미치도록 보장한다.
• 최적의 해에 수렴하는 비동기 게시 알고리즘을 개발하여 모델 전파를 수행한다.
• 국지 손실과 네트워크 상의 모델 부드러움을 동시에 최적화하는 공동 학습을 제안하며, 이를 공통 문제로 공식화한다.
• 비동기적 피어 투 피어 방식으로 공동 학습 목표를 해결하기 위해 분산된 ADMM 알고리즘을 활용한다.
• 역사적 상호작용 데이터로부터 유도된 에이전트의 목표 간 유사도를 반영한 엣지 가중치를 갖는 네트워크 그래프를 구축한다.

실험 결과

연구 질문

• RQ1 분산 네트워크에서 직접 이웃과의 통신만으로 에이전트가 개인화된 모델을 향상시킬 수 있는가?
• RQ2 다양한 국지 데이터 크기에서 유도된 모델의 신뢰도는 어떻게 분산 모델 부드러움에 통합될 수 있는가?
• RQ3 국지 정확도와 네트워크 부드러움을 동시에 최적화하는 것이 순차적 모델 전파보다 더 나은 성능을 내는가?
• RQ4 알고리즘의 비동기성은 실세계 네트워크에서 수렴성과 확장성에 어떤 영향을 미치는가?
• RQ5 데이터 불균형은 분산 공동 학습에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 공동 학습은 모든 특징 공간 차원에서 모델 전파를 일관되게 뛰어넘으며, 고차원에서 성능 격차가 더욱 커진다.
• 모델 전파 알고리즘은 고정된 모델보다 유의미하게 향상되며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보이지만, 높은 신뢰도를 가진 에이전트가 자신의 국지 모델에서 벗어나는 것을 저지하기 때문에 한계가 있다.
• 공동 학습은 국지 훈련 세트 크기에 관계없이 안정적인 정확도를 달성하여 데이터 불균형을 효과적으로 보정한다.
• 비동기 공동 학습은 동기적 버전과 동일한 성능을 보이며, 실세계 구현에 더 적합하다.
• 비동기 모델 전파 알고리즘은 공동 학습 대비 약 10배 빠르게 수렴하여 강력한 초기화 방법이 된다.
• 수렴까지의 반복 수는 네트워크 크기에 따라 유리하게 증가하므로, 제안된 알고리즘의 양호한 확장성 잠재력을 보여준다.