[논문 리뷰] Fully Decentralized Joint Learning of Personalized Models and Collaboration Graphs

Valentina Zantedeschi, Aurélien Bellet외 1명|arXiv (Cornell University)|2019. 01. 24.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 사용자 간의 흩어진 협업 그래프를 공동으로 학습하고 개인 맞춤 모델을 학습하는 완전히 분산형 프레임워크를 제안한다. 이는 번갈아가며 최적화하는 방식으로, 사용자들은 피어 간 업데이트를 통해 모델을 반복적으로 개선하고, 무작위 피어를 샘플링하여 협업 그래프를 개선한다. 기존 기준 대비 더 낮은 통신 비용으로 더 높은 테스트 정확도를 달성하며, 특히 고차원 데이터에서 개인 맞춤 모델의 기밀성과 확장성을 유지한다.

ABSTRACT

We consider the fully decentralized machine learning scenario where many users with personal datasets collaborate to learn models through local peer-to-peer exchanges, without a central coordinator. We propose to train personalized models that leverage a collaboration graph describing the relationships between user personal tasks, which we learn jointly with the models. Our fully decentralized optimization procedure alternates between training nonlinear models given the graph in a greedy boosting manner, and updating the collaboration graph (with controlled sparsity) given the models. Throughout the process, users exchange messages only with a small number of peers (their direct neighbors when updating the models, and a few random users when updating the graph), ensuring that the procedure naturally scales with the number of users. Overall, our approach is communication-efficient and avoids exchanging personal data. We provide an extensive analysis of the convergence rate, memory and communication complexity of our approach, and demonstrate its benefits compared to competing techniques on synthetic and real datasets.

연구 동기 및 목표

• 중앙집중식 및 피어드 학습의 한계를 해결하여 사용자 기밀성을 유지하고 비독립적, 개인 맞춤형 데이터를 처리하는 것.
• 중앙 조정자나 글로벌 모델 없이도 확장 가능한 분산 협업을 가능하게 하는 것.
• 사용자 간 작업 유사성을 반영하는 희박한 협업 그래프를 공동으로 학습하는 것.
• 적응형이고 국소적인 업데이트를 통해 통신 오버헤드를 최소화하면서도 높은 모델 정확도를 유지하는 것.
• 제한된 사용자 상호작용 조건에서도 수렴성과 확장성을 확보하는 것.

제안 방법

• 사용자들은 l1-Adaboost 기반의 탐욕적 부스팅 접근법을 사용하여 개인 맞춤 비선형 모델을 훈련하며, 한 개의 기본 예측기씩 단계적으로 추가하면서 점진적으로 업데이트한다.
• 모델 업데이트는 현재 협업 그래프 내의 직접적 이웃 대상자에게만 전달되어 통신 비용을 낮춘다.
• 피어 샘플링 서비스를 통해 무작위 피어를 샘플링하여 분산 방식으로 협업 그래프를 업데이트함으로써 희박성을 유지한다.
• 그래프 업데이트는 모델의 매끄러움과 그래프의 희박성을 균형 잡는 정규화된 목표 함수에 의해 지시되며, 간선 밀도를 제어하기 위해 하이퍼파라미터 λ를 사용한다.
• 알고리즘은 고정된 그래프에서의 모델 최적화와 고정된 모델에서의 그래프 개선을 번갈아 수행함으로써 공동 수렴을 가능하게 한다.
• 사용자당 이웃 수를 제어하기 위해 희박성 유도 정규화자를 사용하여 통신 복잡성을 줄이고 모델 성능을 유지한다.

실험 결과

연구 질문

• RQ1 분산 환경에서 작업 유사성을 동적으로 학습함으로써 개인 맞춤 모델이 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 중앙 조정자가 없는 상태에서 협업 그래프를 완전히 분산 방식으로 학습할 수 있는가?
• RQ3 분산 공동 학습에서 그래프의 희박성과 모델 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ4 분산 개인 맞춤 학습에서 높은 테스트 정확도를 유지하면서도 통신 효율성을 크게 향상시킬 수 있는가?
• RQ5 모델과 협업 그래프의 공동 최적화가 수렴성과 확장성에 어떤 영향을 미치는가?

주요 결과

• Harws 데이터셋(D=561)에서 Dada-Learned는 95.57%의 테스트 정확도를 기록했으며, Perso-linear-Learned(96.87%)와 Global-Adaboost(94.34%)보다 통신 비용이 낮았다.
• Vehicle Sensor 데이터셋(D=100)에서 Dada-Learned는 91.04%의 정확도를 달성하여 Local-Adaboost(90.59%)와 Global-Adaboost(88.02%)를 뛰어넘었다.
• Computer Buyers 데이터셋(D=14)에서 Dada-Learned는 73.55%의 정확도를 기록했으며, Local-Adaboost(66.61%)와 Global-Adaboost(69.16%)를 크게 앞섰다.
• Schools 데이터셋(D=17)에서 Dada-Learned는 72.47%의 정확도를 달성하여 Local-Adaboost(70.69%)와 Global-Adaboost(69.96%)를 뛰어넘었다.
• Moons100 데이터셋에서 학습된 협업 그래프의 평균 이웃 수는 노드당 42.64개였으며, 오라클 그래프(노드당 평균 60.86개)보다 통신 비용이 감소했다.
• λ가 감소함에 따라 그래프는 점점 더 희박해졌고, 테스트 정확도는 Local-boost 수준에 가까워지며 희박성과 성능 사이의 명확한 상충 관계를 보였다.