[논문 리뷰] Low-Latency Federated Learning over Wireless Channels with Differential Privacy

Kang Wei, Jun Li외 6명|arXiv (Cornell University)|2021. 06. 20.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 5

한 줄 요약

이 논문은 다중 에이전트 다중 암초 밴딧(MAMAB) 접근법을 사용하여 훈련 지연, 모델 성능, 클라이언트 수준의 차별적 프라이버시(DP)를 동시에 최적화하는 무선 채널 기반 저지연 분산학습 프레임워크를 제안한다. 리아풀로프 드리프트를 활용하여 제약 조건을 처리하고, 수정된 헝가리안 알고리즘과 보다 나은 대안이 있는 근사적 매칭(GMBA)을 통해 최대-최소 이분 매칭 문제를 해결함으로써, 복잡도가 낮고 거의 최적의 성능을 달성하며, 손실 함수의 성장률이 통신 라운드 수의 로그 비례로 증가하는 것을 보장한다.

ABSTRACT

In federated learning (FL), model training is distributed over clients and local models are aggregated by a central server. The performance of uploaded models in such situations can vary widely due to imbalanced data distributions, potential demands on privacy protections, and quality of transmissions. In this paper, we aim to minimize FL training delay over wireless channels, constrained by overall training performance as well as each client's differential privacy (DP) requirement. We solve this problem in the framework of multi-agent multi-armed bandit (MAMAB) to deal with the situation where there are multiple clients confornting different unknown transmission environments, e.g., channel fading and interferences. Specifically, we first transform the long-term constraints on both training performance and each client's DP into a virtual queue based on the Lyapunov drift technique. Then, we convert the MAMAB to a max-min bipartite matching problem at each communication round, by estimating rewards with the upper confidence bound (UCB) approach. More importantly, we propose two efficient solutions to this matching problem, i.e., modified Hungarian algorithm and greedy matching with a better alternative (GMBA), in which the first one can achieve the optimal solution with a high complexity while the second one approaches a better trade-off by enabling a verified low-complexity with little performance loss. In addition, we develop an upper bound on the expected regret of this MAMAB based FL framework, which shows a linear growth over the logarithm of communication rounds, justifying its theoretical feasibility. Extensive experimental results are conducted to validate the effectiveness of our proposed algorithms, and the impacts of various parameters on the FL performance over wireless edge networks are also discussed.

연구 동기 및 목표

• 제약 조건이 있는 모델 성능과 개인 클라이언트의 차별적 프라이버시(DP) 요구사항을 충족시키면서 무선 분산학습에서 훈련 지연을 최소화하는 데 도전한다.
• 채널 감쇠 및 간섭과 같은 무선 환경의 본질적 불확실성—즉, 클라이언트 전송 조건이 알려져 있지 않고 시간에 따라 변하는 조건—을 다룬다.
• 동적이고 현실적인 무선 엣지 네트워크에서 프라이버시와 효율성을 유지하는 확장 가능한 분산 학습 프레임워크를 설계한다.
• 다중 클라이언트 무선 FL 시스템에서 통신 지연, 모델 수렴성, 개인 프라이버시 보장 간의 트레이드오프를 균형 잡는다.
• 제안된 MAMAB 기반 학습 알고리즘의 장기적 성능과 실현 가능성을 검증하기 위해 이론적 손실 함수 상한을 도출한다.

제안 방법

• 장기적인 모델 성능 및 클라이언트 DP 제약 조건을 리아풀로프 드리프트 기법을 사용해 가상 큐로 변환하여 동적 최적화를 가능하게 한다.
• 알 수 없고 비(stationary) 무선 채널 조건을 다루기 위해 클라이언트 스케줄링 및 자원 할당 문제를 다중 에이전트 다중 암초 밴딧(MAMAB) 프레임워크로 모델링한다.
• MAMAB 환경에서 탐색과 이용의 균형을 이루기 위해 각 클라이언트-행동 쌍의 보상 값을 상한 신뢰도(UCB) 방법을 사용해 추정한다.
• 각 통신 라운드에서 MAMAB 문제를 최대-최소 이분 매칭 문제로 공식화하여 클라이언트 간 최소 보상의 최대화를 도모한다.
• 두 가지 효율적인 해결책을 제안한다: 높은 복잡도를 지닌 최적 매칭을 위한 수정된 헝가리안 알고리즘과, 낮은 복잡도이면서 성능 손실가 최소화된 근사적 매칭(GMBA).
• MAMAB 프레임워크의 기대 손실 함수에 대한 이론적 상한을 유도하여, 손실 함수가 통신 라운드 수의 로그 비례로 선형 증가함을 보이며, 이는 점근적 최적성의 확인을 의미한다.

실험 결과

연구 질문

• RQ1 무선 분산학습에서 글로벌 모델 성능과 개인 클라이언트의 차별적 프라이버시(DP) 제약 조건을 충족시키면서 훈련 지연을 어떻게 최소화할 수 있는가?
• RQ2 알 수 없는 채널 상태와 간섭이 존재하는 동적 무선 환경에서 최적의 클라이언트 스케줄링 및 자원 할당 전략은 무엇인가?
• RQ3 대규모 프라이버시 보장 분산학습 시스템에서 계산 복잡도와 성능 간의 트레이드오프를 어떻게 균형 잡을 수 있는가?
• RQ4 시간에 따라 변하는 무선 조건과 프라이버시 제약 조건 하에서 MAMAB 기반 분산학습 프레임워크에 대해 어떤 이론적 성능 보장을 제공할 수 있는가?
• RQ5 클라이언트 데이터 분포, DP 예산, 채널 품질과 같은 주요 시스템 파라미터는 FL 과정의 수렴성과 지연에 어떤 영향을 미치는가?

주요 결과

• 제안된 GMBA 알고리즘은 정확한 헝가리안 방법 대비 상당히 낮은 계산 복잡도를 보이며 거의 최적의 성능을 달성하여 실시간 구현에 적합하다.
• 이론적 손실 함수 상한이 통신 라운드 수의 로그 비례로 증가함을 확인하여, 알고리즘이 효율적으로 수렴하고 장기적으로 안정된 성능을 유지함을 의미한다.
• 불균형한 데이터 분포와 다양한 채널 조건 하에서도 클라이언트 수준의 차별적 프라이버시를 효과적으로 유지하면서 훈련 지연을 최소화하는 데 성공했다.
• 광범위한 시뮬레이션을 통해 제안된 방법이 랜덤, 라운드로빈과 같은 기준 스케줄링 정책보다 수렴 속도와 최종 모델 정확도 측면에서 뛰어난 성능을 보였다.
• DP 파라미터와 채널 품질이 FL 성능에 미치는 영향을 정량적으로 분석하여, 더 높은 DP 예산은 모델 정확도를 향상시키지만 통신 부하를 증가시킴을 확인했다.
• 리아풀로프 드리프트 기반 제약 조건 처리 기법이 장기간에 걸쳐 모든 클라이언트에서 훈련 성능과 DP 준수를 효과적으로 유지하는 데 성공했다.