[논문 리뷰] Enhancing the Privacy of Federated Learning with Sketching

Zaoxing Liu, Tian Li외 2명|arXiv (Cornell University)|2019. 11. 05.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 23

한 줄 요약

이 논문은 통계적 스케치 알고리즘—특히 Count Sketch—을 사용하여 분산 학습에서의 프라이버시를 향상시키고 통신 비용을 절감하는 방법을 제안한다. 클라이언트 기기에서 중앙 서버로 전송하기 전에 기울기 데이터에 스케치를 적용함으로써, 정확도 손실을 최소화하면서도 강력한 프라이버시 보장을 달성하며, 통신 비용을 최대 10배까지 줄일 수 있다. 이는 분산 학습 환경에서 프라이버시와 효율성 간의 상호보완적 트레이드오프를 실현한다.

ABSTRACT

In response to growing concerns about user privacy, federated learning has emerged as a promising tool to train statistical models over networks of devices while keeping data localized. Federated learning methods run training tasks directly on user devices and do not share the raw user data with third parties. However, current methods still share model updates, which may contain private information (e.g., one's weight and height), during the training process. Existing efforts that aim to improve the privacy of federated learning make compromises in one or more of the following key areas: performance (particularly communication cost), accuracy, or privacy. To better optimize these trade-offs, we propose that extit{sketching algorithms} have a unique advantage in that they can provide both privacy and performance benefits while maintaining accuracy. We evaluate the feasibility of sketching-based federated learning with a prototype on three representative learning models. Our initial findings show that it is possible to provide strong privacy guarantees for federated learning without sacrificing performance or accuracy. Our work highlights that there exists a fundamental connection between privacy and communication in distributed settings, and suggests important open problems surrounding the theoretical understanding, methodology, and system design of practical, private federated learning.

연구 동기 및 목표

• 현재 분산 학습 시스템이 공유되는 모델 업데이트를 통해 민감한 사용자 데이터를 노출한다는 점에서, 프라이버시 보장의 심각한 격차를 메우기 위해.
• 기존 암호화 및 차별적 프라이버시 기법들이 겪는 프라이버시, 통신 효율성, 모델 정확도 간의 트레이드오프를 극복하기 위해.
• 스케칭을 새로운 효율적인 메커니즘으로 탐색하여, 분산 학습에서 동시에 프라이버시와 성능을 향상시키기 위해.
• 최소한의 아키텍처 변경으로 기존 분산 학습 프레임워크에 스케칭을 통합할 수 있는 가능성을 입증하기 위해.
• 스케칭 원리들을 활용하여 유연하고 프라이버시 보장이 되며 통신 효율적인 분산 학습 시스템 설계의 기반을 마련하기 위해.

제안 방법

• 클라이언트 기기에서 중앙 서버로 전송하기 전에 모델 업데이트(예: 기울기)에 Count Sketch를 적용하여 압축하고 왜곡시키기 위해.
• 스케치의 본질적인 성질을 활용하여 데이터 요소의 신원을 은폐함—즉, 스케치가 완전히 복원되더라도 특정 사용자와 연결된 개별 요소를 추적하는 것이 어려움.
• 스케치 데이터 구조를 사용하여 높은 압축률(최대 10배의 통신 비용 절감)을 달성하면서도 모델 정확도를 유지하기 위해.
• 클라이언트가 원시 기울기가 아닌 스케치 근사값을 전송하는 수정된 분산 학습 파이프라인 설계. 서버는 이러한 스케치를 집계하여 글로벌 모델을 업데이트한다.
• 스케치의 이론적 성질을 활용하여 확률적 프라이버시 보장을 제공함. 이는 복원된 스케치에서 어떤 개별 업데이트 요소를 복구할 확률이 1/n 이하로 제한됨을 의미함. 여기서 n은 업데이트 벡터의 차원이다.
• 스케칭에 이중적 프라이버시 기법(예: 라플라스 또는 가우시안 노이즈 추가)을 결합하여 추가로 프라이버시 보장을 강화하는 확장 가능성 탐색.

실험 결과

연구 질문

• RQ1 스케칭 알고리즘이 모델 업데이트의 기밀성을 보장하면서도 모델 정확도를 저하시키지 않고 분산 학습에서 효과적으로 활용될 수 있는가?
• RQ2 스케칭은 프라이버시를 유지하면서 분산 학습에서 통신 비용을 얼마나 줄일 수 있는가?
• RQ3 Count Sketch와 같은 표준 스케칭 알고리즘의 본질적 프라이버시 특성은 분산 학습 환경에서 어떻게 작용하는가?
• RQ4 이질적인 기기와 워크로드에서 다양한 모델 업데이트 분포에 스케칭을 어떻게 적응시킬 수 있는가?
• RQ5 스케칭을 신뢰형 실행 환경(예: Intel SGX)과 공동 설계하여 분산 학습 환경에서의 종단 간 프라이버시를 추가로 향상시킬 수 있는가?

주요 결과

• 스케칭은 모델 업데이트 내 개별 데이터 요소의 신원을 은폐함으로써 분산 학습에서 강력한 프라이버시 보장을 가능하게 하며, 각 요소에 대해 재식별 가능성이 최대 1/n 이하로 감소한다.
• 분산 학습에서 Count Sketch를 사용하면 기존의 표준 FedAvg 대비 통신 비용을 최대 10배까지 줄일 수 있으며, 모델 정확도에 미치는 영향은 극히 미미하다.
• 스케칭은 압축된 업데이트를 마스킹하는 데 동시에 기능하므로, 프라이버시와 통신 효율성 간 자연스러운 상호보완성이 존재한다.
• 선형 회귀, MLP, RNN 모델에 대한 실험적 평가 결과, 스케칭 기반 분산 학습이 기존 FedAvg와 유사한 수렴 행동을 유지하며 정확도 저하가 미미함을 확인하였다.
• 이론적 분석 결과, 원시 데이터 신원으로 직접 복원이 불가능한 점을 고려할 때, 순수 스케칭은 재구성 조건이 충족되더라도 비록 비트리브하지 않더라도 의미 있는 프라이버시 이점을 제공함을 시사한다.
• 미래 연구에서는 스케칭과 차별적 프라이버시 메커니즘(예: 노이즈 주입)을 결합함으로써 분산 학습 환경에서 더 강력하고 수학적으로 제약된 프라이버시 보장을 달성할 수 있음을 보여주었다.