[논문 리뷰] FedADMM: A Federated Primal-Dual Algorithm Allowing Partial Participation

Han Wang, Siddartha Marella외 1명|arXiv (Cornell University)|2022. 03. 28.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedADMM는 비볼록 복합 최적화에서 부분적 참여를 가능하게 하는 새로운 피어드 프리마르-듀얼 알고리즘으로, 수렴성을 유지하면서 FedPD를 비연속적인 정규화 요소로 확장한다. $Ó(\varepsilon^{-2})$의 통신 복잡도를 달성하고 FedDR와의 등가성을 입증함으로써 통계적 및 시스템 이질성에 강건하며 일반 샘플링 모델 하에서 이론적 수렴 보장을 제공한다.

ABSTRACT

Federated learning is a framework for distributed optimization that places emphasis on communication efficiency. In particular, it follows a client-server broadcast model and is particularly appealing because of its ability to accommodate heterogeneity in client compute and storage resources, non-i.i.d. data assumptions, and data privacy. Our contribution is to offer a new federated learning algorithm, FedADMM, for solving non-convex composite optimization problems with non-smooth regularizers. We prove converges of FedADMM for the case when not all clients are able to participate in a given communication round under a very general sampling model.

연구 동기 및 목표

• 스트래글러 또는 신뢰할 수 없는 연결성을 가진 시스템에서 클라이언트의 부분적 참여 문제를 해결하기 위해.
• 비볼록 복합 최적화 문제와 비연속 정규화 요소를 지원하는 프리마르-듀얼 알고리즘을 개발하여 기존 방법보다 더 넓은 적용 범위를 확보하기 위해.
• 전체 참여를 요구하는 FedPD를 부분적 참여를 허용하면서도 수렴성과 성능을 유지할 수 있도록 확장하기 위해.
• FedADMM와 FedDR 간의 이론적 등가성을 확립하여 공통된 수렴 분석 및 알고리즘 통찰을 가능하게 하기 위해.
• 비독립 동일 분포가 아닌 데이터와 균형 잡히지 않은 클라이언트 참여를 포함한 일반 샘플링 모델 하에서 수렴 보장을 제공하기 위해.

제안 방법

• FedADMM는 비볼록 도우글러-라크포드 분할(DRS)의 이중 공식을 연립 최적화 문제에 적용하여 유도되며, DRS와 ADMM 간의 알려진 등가성을 활용한다.
• 알고리즘은 클라이언트-서버 아키텍처를 사용하며, 라운드당 일부 클라이언트만 참여하고 서버는 이중 일치 메커니즘을 통해 업데이트를 집계한다.
• 비연속 정규화 요소를 위해 프록시 오퍼레이터를 사용하고, FedProx와 FedPD와 유사하게 국소 해를 근사적으로 풀 수 있도록 하여 실용성을 향상시킨다.
• 클라이언트 선택에 균일 샘플링 기법을 사용하고, 클라이언트 간 일치를 강제하기 위해 이중 변수를 유지한다.
• 핵심 구성 요소로는 이중 변수 갱신, 국소 최적화를 통한 프리마르 변수 갱신, 서버에서의 전역 일치 단계가 포함된다.
• FedDR의 수렴 성질을 이어받기 위해 FedDR과 FedADMM의 반복값 간 일대일, 전사 사상 관계를 수립함으로써 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 비볼록 복합 문제에 대해 부분적 클라이언트 참여를 허용하면서도 수렴성을 유지할 수 있는 프리마르-듀얼 피어드 알고리즘을 설계할 수 있는가?
• RQ2 알고리즘적 구조와 수렴 행동 측면에서 FedADMM는 FedDR과 FedPD와 어떻게 관련이 있는가?
• RQ3 부분적 참여 하에서 FedADMM의 통신 복잡도는 얼마이며, 알려진 하한값과 일치하는가?
• RQ4 FedADMM는 비연속 정규화 요소와 제약 조건을 처리할 수 있는가? 이는 FedPD의 범위를 초월하는가?
• RQ5 클라이언트가 부분적으로 참여할 때 FedADMM는 FedDR과 동일한 수렴 속도를 달성하는가?

주요 결과

• FedADMM는 $Ó(\varepsilon^{-2})$의 통신 복잡도로 $µ$-정류점 해에 도달하며, 이는 비볼록 피어드 최적화의 알려진 하한값과 일치한다.
• FedADMM는 이론적으로 FedDR과 등가이며, 이들의 반복값 간 일대일 및 전사 사상 관계를 통해 동일한 수렴 행동을 보장한다.
• 만약 $g \equiv 0$일 경우, FedADMM는 FedPD로 축소되지만 부분적 참여를 허용하여 FedPD의 핵심 한계를 극복한다.
• 알고리즘은 비독립 동일 분포가 아닌 데이터와 균형 잡히지 않은 클라이언트 참여를 포함한 일반 샘플링 모델 하에서도 수렴성을 유지한다.
• 합성 및 FEMNIST 데이터셋에 대한 수치 시뮬레이션 결과, FedADMM와 FedDR이 동일한 학습 정확도와 손실를 달성함으로써 이론적 등가성을 검증한다.
• 국소 프록시 오퍼레이터를 근사적으로 풀어도 수렴 보장이 유지되어 실용적 강건성이 향상된다.