[논문 리뷰] A Communication Efficient Collaborative Learning Framework for Distributed Features

Yang Liu, Yan Kang외 6명|arXiv (Cornell University)|2019. 12. 24.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 57

한 줄 요약

이 논문은 FedBCD를 제안하는데, 수직으로 분할된 특징으로 함께 학습하는 모델에 대한 커뮤니케이션 효율적인 프레임워크로, 동기화 전에 여러 로컬 업데이트를 수행하여 O(1/√T) 정확도와 O(√T) 커뮤니케이션 라운드를 달성합니다.

ABSTRACT

We introduce a collaborative learning framework allowing multiple parties having different sets of attributes about the same user to jointly build models without exposing their raw data or model parameters. In particular, we propose a Federated Stochastic Block Coordinate Descent (FedBCD) algorithm, in which each party conducts multiple local updates before each communication to effectively reduce the number of communication rounds among parties, a principal bottleneck for collaborative learning problems. We analyze theoretically the impact of the number of local updates and show that when the batch size, sample size, and the local iterations are selected appropriately, within $T$ iterations, the algorithm performs $\mathcal{O}(\sqrt{T})$ communication rounds and achieves some $\mathcal{O}(1/\sqrt{T})$ accuracy (measured by the average of the gradient norm squared). The approach is supported by our empirical evaluations on a variety of tasks and datasets, demonstrating advantages over stochastic gradient descent (SGD) approaches.

연구 동기 및 목표

• 동일한 사용자에 대해 서로 다른 특징을 보유한 데이터 실로 분리되어 있는 상황에서 원시 데이터나 모델을 공유하지 않고 학습을 촉진합니다.
• 상호 파티 간 커뮤니케이션을 최소화하는 수직으로 분할된 데이터에 대한 커뮤니케이션 효율적 알고리즘을 개발합니다.
• 로컬 업데이트와 함께 제안된 FedBCD의 수렴 보장을 이론적으로 제공합니다.
• 다양한 데이터셋과 모델에서 실용적 효율성을 보여줍니다.
• 연합 전이 학습 및 보안 고려사항으로의 확장을 모색합니다.

제안 방법

• 당사자들이 커뮤니케이션 중 샘플당 단일 값만을 공유하는 Federated Stochastic Block Coordinate Descent(FedBCD)를 도입합니다.
• 커뮤니케이션 사이에 다수의 로컬 업데이트(Q)를 허용하여 라운드를 줄이고, 병렬 FedBCD-p와 순차 FedBCD-s 변형을 형성합니다.
• 로컬 정보 H 및 부분 기울기를 사용하여 그라디언트 업데이트를 도출합니다: g_k(Θ;S) = ∇_k f(H_{-k}, θ_k; S) + λ∇γ(θ_k).
• 적절한 배치 크기, 로컬 반복, 학습률과 함께 수렴 분석을 제공하여 방법이 O(1/√T) 정확도와 O(√T) 커뮤니케이션 라운드를 달성함을 보장합니다.
• 대규모 Q에 대한 안정성을 개선하기 위한 프로시절-보강 변형 FedPBCD-p를 제시합니다.
• 제안된 누출 모델 하에서 데이터 프라이버시가 보존됨을 논의합니다.

실험 결과

연구 질문

• RQ1 수직적으로 분할된 협력 학습에서 커뮤니케이션 전에 다수의 로컬 업데이트가 전체 커뮤니케이션 라운드를 줄일 수 있는가?
• RQ2 부분 기울기로부터 얻은 오래된 정보(stale information)를 사용할 때 FedBCD의 수렴 보장은 무엇인가?
• RQ3 실제 데이터셋에서 병렬 및 순차 로컬 업데이트 변형은 실무에서 어떻게 비교되는가?
• RQ4 로컬 업데이트가 크면 프로ximal 항이 수렴을 개선하는가?
• RQ5 연합 전이 학습 및 프라이버시 보존 설정 하에서 프레임워크의 성능은 어떠한가?

주요 결과

• 적절한 설정에서 FedBCD는 O(1/√T) 수렴 속도와 O(√T) 커뮤니케이션 라운드를 달성한다.
• MIMIC-III와 MNIST-CNN 실험에서 로컬 업데이트 Q를 증가시키면 커뮤니케이션 라운드가 줄어들고 수렴은 baseline SGD와 유사하다.
• FedBCD-p(병렬)와 FedBCD-s(순차)는 비슷한 수렴을 보이며, 순차 업데이트로 인한 벽시계 시간은 FedBCD-s에서 더 높다.
• 프로시말 FedPBCD-p는 더 큰 Q에 대해 수렴을 안정시키고 큰 Q 구간에서 FedBCD-p보다 더 높은 정확도에 도달할 수 있다.
• FedBCD를 연합 전이 학습 작업(NUS-FTL)에 적용하면 커뮤니케이션 감소와 함께 효과적인 성능을 보여준다.
• HE 활성화 설정에서 더 큰 Q는 커뮤니케이션 라운드를 줄이지만 계산을 증가시키고, 전체 시간 측면에서 상당한 절감 효과를 보인다.