[논문 리뷰] Federated Learning under Importance Sampling

Elsa Rizk, Stefan Vlaski외 1명|arXiv (Cornell University)|2020. 12. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 에이전트와 국소 데이터 양측에 대해 중요도 표본 추출을 사용하는 비균일 표본 추출 전략을 제안하여 분산을 줄임으로써 수렴을 향상시킨다. 이 방법은 국소 데이터 변동성과 모델 이질성에 기반해 에이전트와 데이터 포인트를 적응적으로 선택하며, 부분 참가 조건 하에서 이종적이고 비동기적인 환경에서도 O(μ) 수준의 수렴 오차를 달성한다.

ABSTRACT

Federated learning encapsulates distributed learning strategies that are managed by a central unit. Since it relies on using a selected number of agents at each iteration, and since each agent, in turn, taps into its local data, it is only natural to study optimal sampling policies for selecting agents and their data in federated learning implementations. Usually, only uniform sampling schemes are used. However, in this work, we examine the effect of importance sampling and devise schemes for sampling agents and data non-uniformly guided by a performance measure. We find that in schemes involving sampling without replacement, the performance of the resulting architecture is controlled by two factors related to data variability at each agent, and model variability across agents. We illustrate the theoretical findings with experiments on simulated and real data and show the improvement in performance that results from the proposed strategies.

연구 동기 및 목표

• 균일 표본 추출의 성능 한계를 해결하기 위해 에이전트와 국소 데이터에 대한 비균일 표본 추출 전략을 도입하는 것.
• 중요도 표본 추출이 비동기적, 이종적, 부분 참가 조건 하에서 수렴에 미치는 영향을 분석하는 것.
• 비균일 표본 추출 하에서 확률적 경사하강법의 오차 분산에 대한 이론적 경계를 유도하고, 성능을 데이터 및 모델 이질성과 연결하는 것.
• 에이전트 간 데이터 및 모델 변동성 존재 하에서 기대 오차를 최소화하는 적응형 표본 추출 정책을 설계하는 것.
• 이론적 결과를 시뮬레이션 및 실세계 데이터셋에서 실험을 통해 검증하여 수렴 속도와 정확도 향상을 입증하는 것.

제안 방법

• 두 계층의 중요도 표본 추출 기반 설계: 에이전트 선택에 대해 분포 πₖ를, 각 에이전트의 국소 데이터 표본 추출에 대해 πₙ⁽ᵏ⁾를 사용하는 비균일 선택 방식을 제안.
• 비균일 표본 추출 하에서 비동기 SGD의 수렴 경계를 이론적으로 유도하며, 표본 추출이 최적화될 경우 오차가 O(μ) 수준으로 스케일링됨을 보여준다.
• 표본 추출 분포 설계를 안내하기 위해 각 에이전트의 데이터 변동성과 에이전트 간 모델 변동성 기반의 성능 지표를 도입.
• 기대 제곱 노이즈 항 qᵢ의 노름을 제약하기 위해 재귀적 오차 전파 모델을 사용하며, 이를 국소 데이터 분산과 모델 이동성과 연결.
• 제닝스 부등식과 보조정리 4를 적용해 오차 경계 표현을 단순화함으로써, 표본 추출 확률이 수렴에 미치는 영향을 분석 가능하게 한다.
• 기대 경사 노이즈의 상한을 최소화하는 적응형 표본 추출 확률을 유도하며, 이는 더 빠른 수렴을 이끌어낸다.

Figure 1: MSD plots of the regression problem: blue curve is the standard mini-batch implementation, green curve is the importance sampling implementation with the true probabilities, red curve is the importance sampling implementation with approximate probabilities ( 49 )–( 50 ), purple curve is th

실험 결과

연구 질문

• RQ1 이종적 데이터 및 비동기 작동 조건 하에서 에이전트와 국소 데이터의 비균일 표본 추출이 플러터드 학습의 수렴 속도에 미치는 영향은 무엇인가?
• RQ2 플러터드 학습에서 중요도 표본 추출의 성능을 결정짓는 핵심 요소는 무엇이며, 특히 데이터 및 모델 이질성 측면에서 어떻게 작용하는가?
• RQ3 국소 데이터 및 모델 변동성 기반의 적응형 표본 추출 전략이 기대 경사 노이즈를 줄이고 수렴을 향상시킬 수 있는가?
• RQ4 비동기 플러터드 학습에서 비균일 표본 추출 하에서 기대 제곱 노이즈 항의 이론적 경계는 무엇인가?
• RQ5 제안된 표본 추출 전략이 실세계 및 시뮬레이션 데이터에서 균일 표본 추출과 비교해 수렴 속도와 최종 모델 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 중요도 표본 추출 전략의 수렴 오차는 O(μ) 수준으로 스케일링되며, 이는 이종적 및 비동기 조건 하에서 균일 표본 추출보다 향상된 성능을 보인다.
• 성능는 두 가지 주요 요인에 의해 결정되며, 각 에이전트 내의 데이터 변동성과 에이전트 간 모델 변동성 모두 최적의 표본 추출 분포에 영향을 미친다.
• 국소 데이터 분산과 모델 이동성 기반의 적응형 표본 추출은 기대 경사 노이즈를 크게 감소시켜 더 빠른 수렴을 이끈다.
• 이론적 분석 결과, 기대 제곱 노이즈 항 qᵢ의 노름은 O(μ)로 경계되며, 이 상수들은 데이터 분포와 표본 추출 확률에 따라 달라진다.
• 시뮬레이션 및 실세계 데이터 실험을 통해 제안된 중요도 표본 추출 전략이 수렴 속도와 최종 모델 정확도 측면에서 균일 표본 추출을 능가함을 확인하였다.

Figure 2: Testing error plots of the classification problem.