[논문 리뷰] SplitGP: Achieving Both Generalization and Personalization in Federated Learning

Dong-Jun Han, Do-Yeon Kim외 3명|arXiv (Cornell University)|2022. 12. 16.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

SplitGP는 페더럴 러닝에서 모델 구성 요소를 클라이언트 측(개인화된) 및 서버 측(일반화된)으로 분리함으로써 자원이 제한된 디바이스에서 효율적이고 프라이버시를 보장하는 추론을 가능하게 하는 새로운 분할 학습 프레임워크를 제안한다. 개인화와 일반화를 동시에 최적화함으로써 SplitGP는 기준 모델 대비 최대 89.4% 낮은 통신 부하와 10.6%의 스토리지 감소를 달성하며, 비IIDs 데이터 분포 상황에서 특히 뛰어난 성능을 보인다.

ABSTRACT

A fundamental challenge to providing edge-AI services is the need for a machine learning (ML) model that achieves personalization (i.e., to individual clients) and generalization (i.e., to unseen data) properties concurrently. Existing techniques in federated learning (FL) have encountered a steep tradeoff between these objectives and impose large computational requirements on edge devices during training and inference. In this paper, we propose SplitGP, a new split learning solution that can simultaneously capture generalization and personalization capabilities for efficient inference across resource-constrained clients (e.g., mobile/IoT devices). Our key idea is to split the full ML model into client-side and server-side components, and impose different roles to them: the client-side model is trained to have strong personalization capability optimized to each client's main task, while the server-side model is trained to have strong generalization capability for handling all clients' out-of-distribution tasks. We analytically characterize the convergence behavior of SplitGP, revealing that all client models approach stationary points asymptotically. Further, we analyze the inference time in SplitGP and provide bounds for determining model split ratios. Experimental results show that SplitGP outperforms existing baselines by wide margins in inference time and test accuracy for varying amounts of out-of-distribution samples.

연구 동기 및 목표

• 엣지-AI 서비스를 위한 페더럴 러닝에서 개인화와 일반화 사이의 근본적 트레이드오프를 해결한다.
• 추론 과정에서 자원이 제한된 모바일 및 IoT 디바이스의 계산 및 통신 오버헤드를 줄인다.
• 서버에 원시 데이터를 전송하지 않음으로써 프라이버시를 보장하는 추론을 가능하게 한다.
• 분포 내 및 분포 외 테스트 샘플 모두에서 높은 정확도를 유지하는 확장 가능한 솔루션을 제공한다.
• 다양한 데이터 분포 이탈 상황에서 추론 효율성과 성능을 균형 잡는 모델 분할 전략을 설계한다.

제안 방법

• 전체 머신 러닝 모델을 클라이언트 측 모델(φ)과 공유 서버 측 모델(θ)으로 분할한다.
• 클라이언트의 로컬 데이터 분포 최적화를 위해 클라이언트 측 모델을 훈련시켜 개인화를 향상시킨다.
• 모든 클라이언트의 분포 외 작업을 일반화할 수 있도록 서버 측 모델을 훈련시켜 강건성을 향상시킨다.
• 하이브리드 추론 전략을 사용한다: 신뢰도 점수 기반 임계값을 활용해 분포 내 샘플은 클라이언트에서, 분포 외 샘플은 서버에서 추론한다.
• 훈련 중 개인화와 일반화 목표를 균형 잡기 위해 하이퍼파rameter λ를 포함한 손실 함수를 도입한다.
• 추론 시간을 분석하고 최적의 모델 분할 비율(ρ)에 대한 경계를 유도하여 지연과 자원 사용을 최소화한다.

실험 결과

연구 질문

• RQ1 페더럴 러닝 시스템은 어떻게 현지 데이터에 대해 강력한 개인화를 동시에 분포 외 샘플에 대해 일반화를 달성할 수 있는가?
• RQ2 추론 시간과 자원 사용을 최소화하는 데 최적의 클라이언트와 서버 간 모델 분할 비율(ρ)은 무엇인가?
• RQ3 개인화와 일반화 간 트레이드오프를 제어하는 하이퍼파rameter λ가 다양한 데이터 분포 이탈 상황에서 모델 성능에 미치는 영향은 무엇인가?
• RQ4 신뢰도 임계값(E_th)은 클라이언트와 서버 간 추론 작업 할당에 어떤 영향을 미치는가?
• RQ5 분할 학습 프레임워크는 엣지-AI 구현에서 통신 및 스토리지 오버헤드를 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• SplitGP는 FMNIST에서 10.62%, CIFAR-10에서 10.64%의 스토리지 요구량 감소를 달성하며, 클라이언트 측 구성 요소 φ만 저장함으로써 이를 실현한다.
• FMNIST에서 ρ=0.8일 때 SplitGP는 오직 20.30%의 테스트 샘플만 서버로 오프로드함으로써 최고의 성능을 달성하며, 통신 부하를 크게 줄였다.
• λ=0.2이고 ρ가 [0,1]에 균일하게 분포할 경우 SplitGP는 다양한 분포 외 비율 상황에서 평균 테스트 정확도가 가장 높은 84.15%를 달성한다(FMNIST 기준).
• ρ ∈ [0,0.2] 범위에서는 다른 λ 값보다 λ=0.3이 더 뛰어난 성능을 보이며, 낮은 분포 이탈 상황에서 높은 개인화 가중치가 유리함을 시사한다.
• ρ=0.2일 때 클라이언트 측 모델만으로 90.93%의 정확도를 달성한 반면, 전체 모델(φ+θ)은 88.06%에 그치므로, SplitGP의 하이브리드 접근 방식이 개별 구성 요소보다 뛰어난 성능을 보임을 보여준다.
• 제거 실험을 통해 SplitGP가 클라이언트 측 개인화와 서버 측 일반화를 효과적으로 활용하며, 최적의 λ 및 E_th 설정을 사용할 경우 ρ가 증가할수록 성능이 향상됨을 확인했다.