[논문 리뷰] Detailed comparison of communication efficiency of split learning and federated learning

Abhishek Singh, Praneeth Vepakomma외 2명|arXiv (Cornell University)|2019. 09. 18.

Privacy-Preserving Technologies in Data인용 수 107

한 줄 요약

논문은 서로 다른 클라이언트 수, 모델 크기, 데이터 크기에서 split learning과 federated learning이 언제 더 나은 통신 효율성을 달성하는지 분석하고, 각 방법이 우수한 레짐을 식별합니다.

ABSTRACT

We compare communication efficiencies of two compelling distributed machine learning approaches of split learning and federated learning. We show useful settings under which each method outperforms the other in terms of communication efficiency. We consider various practical scenarios of distributed learning setup and juxtapose the two methods under various real-life scenarios. We consider settings of small and large number of clients as well as small models (1M - 6M parameters), large models (10M - 200M parameters) and very large models (1 Billion-100 Billion parameters). We show that increasing number of clients or increasing model size favors split learning setup over the federated while increasing the number of data samples while keeping the number of clients or model size low makes federated learning more communication efficient.

연구 동기 및 목표

• split learning과 federated learning에서 통신 비용이 어떻게 확장되는지 이해를 촉진합니다.
• 클라이언트 수, 모델 크기, 데이터 양과 같은 요인이 통신 효율성에 어떻게 영향을 주는지 특성화합니다.
• 실용적인 시나리오에서 어떤 방법이 더 통신 효율적인지에 대한 지침을 제공합니다.

제안 방법

• 통신 효율성의 지표 정의: 학습 중 각 클라이언트 및 전체 데이터 전송량.
• 클라이언트 가중치 공유 여부에 따른 split learning의 통신 비용 도출.
• Federated learning의 통신 비용 도출.
• 모델 크기-클라이언트 공간에서 쌍곡선 기반 경계로 비용 비교.
• 각 방법이 우세한 실용적 레짐을 보여주는 케이스 활용 시나리오.

실험 결과

연구 질문

• RQ1 클라이언트 수 K, 모델 파라미터 크기 N, 데이터 분포 p 측면에서 split learning이 federated learning보다 통신 효율성에서 우수해지는 조건은 무엇인가?
• RQ2 클라이언트 가중치 공유 여부에 따른 split learning의 변형이 통신 비용에 어떤 영향을 미치는가?
• RQ3 두 방법의 상대적 효율성을 보여주는 실용적 시나리오(예: 에지 디바이스, 헬스케어, 대형 기관)는 무엇인가?

주요 결과

• 클릭 learning은 클라이언트 수가 증가함에 따라 더 많은 통신 효율성을 얻고 모델 크기에 비례하여 잘 확장됩니다.
• 연합 학습은 클라이언트당 데이터가 더 많아질수록 더 통신 효율적이 되며, 특히 클라이언트 수나 모델 크기가 작을 때 그렇습니다.
• 클라이언트 가중치 공유가 있을 경우 통신 오버헤드에 ηN 항이 포함되며, 이는 모듈 크기와 쪼개진 레이어 크기 q에 따라 효율성에 영향을 줍니다.
• 클라이언트 가중치 공유가 없는 경우, 고클라이언트 수 또는 고매개변수 구간에서 split learning이 federated learning보다 더 우수할 수 있습니다.
• 논문은 각 방법이 우세한 레짐을 구분하는 직사각형 쌍곡선 경계 N = function(p, q, K, η)를 특징화합니다.
• 케이스-스터디 그림(스마트 시계, 헬스케어, 생물보관소)은 각 접근이 유리한 상황을 보여줍니다.