[논문 리뷰] Reconciling Security and Communication Efficiency in Federated Learning

Karthik R. Prasad, Sayan Ghosh외 4명|arXiv (Cornell University)|2022. 07. 26.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 보안 집계(SecAgg)와 함께 작동하도록 스칼라 양자화, 자르기(pruning), 및 제품 양자화를 적응시켜, 최대 40배의 업링크 압축을 가능하게 하면서 정확도 손실을 최소화하는 보안성과 통신 효율성이 뛰어난 압축 기법을 제안한다. 이를 통해 보안 인덱싱(SecInd)을 도입하여, 제품 양자화를 통해 극한의 압축을 실현하면서도 프라이버시 및 보안 보장을 유지한다.

ABSTRACT

Cross-device Federated Learning is an increasingly popular machine learning setting to train a model by leveraging a large population of client devices with high privacy and security guarantees. However, communication efficiency remains a major bottleneck when scaling federated learning to production environments, particularly due to bandwidth constraints during uplink communication. In this paper, we formalize and address the problem of compressing client-to-server model updates under the Secure Aggregation primitive, a core component of Federated Learning pipelines that allows the server to aggregate the client updates without accessing them individually. In particular, we adapt standard scalar quantization and pruning methods to Secure Aggregation and propose Secure Indexing, a variant of Secure Aggregation that supports quantization for extreme compression. We establish state-of-the-art results on LEAF benchmarks in a secure Federated Learning setup with up to 40$ imes$ compression in uplink communication with no meaningful loss in utility compared to uncompressed baselines.

연구 동기 및 목표

• 크로스디바이스 연합 학습에서 프라이버시를 위해 필수적인 보안 집계(SecAgg)와 표준 업링크 압축 기법(예: 양자화, 자르기) 간의 근본적인 호환성 문제를 해결하기 위해.
• 특히 대역폭이 제한된 업링크 업데이트에서 보안을 훼손하지 않으면서도 높은 통신 효율성을 확보하기 위해.
• 복원 연산자가 선형성을 유지하도록 압축 방법을 개발하여 SecAgg 프로토콜과의 호환성을 유지하기 위해.
• 제품 양자화를 지원하면서도 강력한 보안 보장을 유지하는 새로운 SecAgg 변종인 보안 인덱싱(SecInd)을 도입하기 위해.
• 보안적이고 압축된 통신 환경에서도 LEAF 벤치마크에서 최신 기술 수준의 성능을 보이며, 유틸리티 손실을 최소화하기 위해.

제안 방법

• 복원 연산자에 선형성 제약 조건을 도입하여 스칼라 양자화와 (랜덤) 자르기를 SecAgg에 적응시키고, SecAgg 프로토콜을 수정하지 않으면서도 호환성을 확보한다.
• 압축 도메인에서 작동하고 압축된 인덱스를 안전하게 집계할 수 있도록 허용하는 SecAgg의 변종인 보안 인덱싱(SecInd)을 제안한다.
• 클라이언트가 공유된 압축 연산자를 사용해 모델 업데이트를 압축하고, 무작위 마스크로 압축된 업데이트를 암호화한 후 서버에 전송하는 TEE 기반 SecAgg 프레임워크를 사용한다.
• 서버가 압축 매개변수(예: 양자화 수준, 코드북, 자르기 마스크)를 주기적으로 브로드캐스트하여 노후화를 줄이고 정확도를 향상시킨다.
• 복원이 선형이므로 서버가 압축 도메인에서 집합을 복원하고 최소 오차로 원래 도메인으로 변환할 수 있도록 보장한다.
• 기존의 SecAgg 인fra구조(예: TEE 기반)를 활용하여 보안을 유지하면서도 압축을 통합하고, 핵심 프로토콜을 수정하지 않는다.

실험 결과

연구 질문

• RQ1 표준 압축 기법(예: 스칼라 양자화, 자르기)을 보안 집계(SecAgg)와 호환되게 할 수 있을까? 이때 프라이버시 보장이 손상되지 않는가?
• RQ2 SecAgg 호환 환경에서 종단 간 보안을 확보하면서도 최소한의 정확도 손실로 달성 가능한 최대 업링크 압축 비율은 얼마인가?
• RQ3 제품 양자화는 어떻게 SecAgg에 통합되어 극한의 압축(예: 40배)을 가능하게 할 수 있으며, 보안과 유틸리티를 유지할 수 있는가?
• RQ4 압축 매개변수(예: 코드북, 양자화 수준)의 주기적 업데이트가 모델 정확도와 노후화에 미치는 영향은 무엇인가?
• RQ5 SecAgg 비트 폭의 선택은 스칼라 양자화에서 오버플로우 비율에 어떤 영향을 미치며, 보안과 통신 효율성 간의 상충 관계는 무엇인가?

주요 결과

• 제안된 방법은 압축되지 않은 기준선과 비교해도 의미 있는 정확도 손실 없이 FEMNIST 벤치마크에서 최대 40배의 업링크 통신 압축을 달성한다.
• 스칼라 양자화는 높은 압축 비율에서 집계 오버플로우로 인해 심각하게 성능이 떨어지며, 특히 SecAgg 비트 폭이 양자화 비트 폭보다 너무 낮을 경우 두드러진다.
• 자르기는 압축 효율성과 정확도 사이의 중간적인 트레이드오프를 제공하며, 마스크를 주기적으로 갱신할 경우 성능이 향상된다.
• 제품 양자화는 극한의 압축을 가능하게 하면서도 최소한의 정확도 손실을 유발하며, 고압축 비율에서 스칼라 양자화를 능가한다.
• 압축 연산자의 업데이트 빈도는 특히 큰 블록 크기나 작은 코드북 크기를 사용하는 극단의 압축 설정에서 정확도에 큰 영향을 미친다.
• 스칼라 양자화의 오버플로우를 최소화하기 위해 SecAgg 비트 폭을 양자화 비트 폭보다 적어도 ⌈log₂n_c⌉ 이상으로 설정해야 하며, 여기서 n_c는 클라이언트 수이다.