[논문 리뷰] Secure Aggregation with Heterogeneous Quantization in Federated Learning

Ahmed Roushdy Elkordy, Amir Salman Avestimehr|arXiv (Cornell University)|2020. 09. 30.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 16

한 줄 요약

HeteroSAg는 비동일한 양자화를 허용함으로써 사용자의 개별 통신 자원에 맞게 양자화 수준을 조정할 수 있는 연합 학습에서의 안전한 집계 프레임워크를 제안한다. 사용자를 그룹화하고, 추가 마스킹을 적용한 좌표별로 조율된 세그먼트 기반 집계를 통해, 정확도-지연 간의 우월한 트레이드오프를 달성하며, 좌표별 중앙값을 통한 동시에 Byzantine에 강건한 방식으로 성능을 향상시킨다. 이는 동일한 양자화 및 표준 안전 집계 프로토콜보다 뛰어나다.

ABSTRACT

Secure model aggregation across many users is a key component of federated learning systems. The state-of-the-art protocols for secure model aggregation, which are based on additive masking, require all users to quantize their model updates to the same level of quantization. This severely degrades their performance due to lack of adaptation to available bandwidth at different users. We propose three schemes that allow secure model aggregation while using heterogeneous quantization. This enables the users to adjust their quantization proportional to their available bandwidth, which can provide a substantially better trade-off between the accuracy of training and the communication time. The proposed schemes are based on a grouping strategy by partitioning the network into groups, and partitioning the local model updates of users into segments. Instead of applying aggregation protocol to the entire local model update vector, it is applied on segments with specific coordination between users. We theoretically evaluate the quantization error for our schemes, and also demonstrate how our schemes can be utilized to overcome Byzantine users.

연구 동기 및 목표

• 최신의 안전 집계 프로토콜에서 균일한 양자화로 인해 발생하는 성능 저하 문제를 해결하기 위해, 사용자의 통신 자원에 맞게 조정되지 않는 문제를 해결한다.
• 사용자가 가용 대역폭과 전송 속도에 따라 독립적으로 양자화 수준을 선택할 수 있도록 하는 안전 집계 기법을 설계한다.
• 사용자 프라이버시나 통신 효율성에 손상을 주지 않으면서도, 안전 집계 프레임워크에 Byzantine에 강건한 기능을 통합한다.
• 비-Byzantine 환경에서 비동일한 양자화 설정 하에서 제안된 기법의 이론적 수렴 보장을 수립한다.
• 기존의 안전 집계 프로토콜의 대역폭 확장 문제를 사용자별로 적응형 양자화를 통해 줄인다.

제안 방법

• 사용자의 통신 능력에 따라 그룹으로 나누고, 각 그룹이 모델 업데이트에 대해 조율된 세그먼트 기반 집계를 수행한다.
• 사용자의 양자화된 모델 업데이트 세그먼트를 전송하기 전에 쌍별 무작위 키를 통한 덧셈 마스킹을 적용하여 프라이버시를 보장한다.
• 각 그룹이 자체 세그먼트에서 안전 집계를 수행하도록 하는 그룹화 전략을 적용하며, 서버는 조율된 복호화를 통해 전체 모델 집계를 재구성한다.
• 악성 업데이트를 걸러내기 위해 좌표별 중앙값을 강건한 집계 규칙으로 통합하여 Byzantine 사용자로부터의 영향을 최소화한다.
• 저대역폭 그룹의 사용자는 더 거친 양자화를 사용하고, 고대역폭 사용자는 더 정밀한 양자화를 사용하도록 설계하여 정확도-통신 트레이드오프를 최적화한다.
• 양자화 노이즈가 경사 하강 업데이트에 미치는 영향을 분석함으로써 비동일한 양자화 하에서 알고리즘의 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 사용자의 개별 통신 자원에 따라 다른 양자화 수준을 사용할 수 있도록 하면서도 안전 집계를 달성할 수 있는가?
• RQ2 비동일한 양자화가 동일한 양자화와 비교해 연합 학습의 수렴성과 테스트 정확도에 어떤 영향을 미치는가?
• RQ3 비동일한 양자화 환경에서 안전 집계와 동시에 Byzantine에 강건한 성능을 달성할 수 있는가?
• RQ4 사용자 그룹화와 세그먼트 기반 집계는 통신 효율성과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 네트워크 조건 하에서 HeteroSAg의 대역폭 확장은 최신 기술의 안전 집계 프로토콜과 비교해 어떻게 되는가?

주요 결과

• HeteroSAg는 비동일한 양자화를 사용할 경우, MNIST 데이터셋에서 비양자화 기준(FedAvg)과 유사한 테스트 정확도를 달성하면서도 총 통신 시간을 5.2배 감소시킨다.
• HeteroSAg가 비동일한 양자화를 사용할 경우, K=2 수준의 동일한 양자화와 비교해 테스트 정확도를 15% 이상 향상시키며, 동일한 통신 시간을 유지한다.
• Gaussian, sign-flip, label-flip 공격 유형 3종에 대해 Byzantine에 강건한 성능을 보이며, 악성 공격 상황에서도 비악성 상황과 거의 유사한 성능을 달성한다. 이는 FedAvg가 동일한 공격에서 실패하는 것과 대비된다.
• HeteroSAg는 프라이버시 보존과 Byzantine에 강건한 성능을 동시에 달성한다. 이는 SecAg(프라이버시 전용) 또는 좌표별 중앙값(강건성 전용)과는 다르다.
• 사용자별로 적응형 양자화를 허용함으로써 최신 기술의 안전 집계 프로토콜의 대역폭 확장을 줄여 정확도-통신 트레이드오프를 향상시킨다.
• 비-Byzantine 환경에서 비동일한 양자화 하에서 HeteroSAg의 수렴이 이론적으로 보장되며, 안정성의 타당성을 입증한다.