[논문 리뷰] HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning

Reza Nasirigerdeh, Reihaneh Torkzadehmahani외 4명|arXiv (Cornell University)|2021. 05. 21.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

HyFed는 하이브리드 노이즈 마스킹 메커니즘을 통해 프라이버시를 향상시키는 새로운 오픈소스 분산 학습 프레임워크입니다. 이는 안전하고 유틸리티를 유지하는 모델 훈련을 가능하게 하며, 클라이언트가 추가한 노이즈를 보상기구(compensator)를 통해 상쇄시켜, 모델 성능 저하 없이 차별적 프라이버시를 보장합니다. 또한 일반화된 API를 통해 시뮬레이션 및 실제 분산 환경 배포를 모두 지원합니다.

ABSTRACT

Federated learning (FL) enables multiple clients to jointly train a global model under the coordination of a central server. Although FL is a privacy-aware paradigm, where raw data sharing is not required, recent studies have shown that FL might leak the private data of a client through the model parameters shared with the server or the other clients. In this paper, we present the HyFed framework, which enhances the privacy of FL while preserving the utility of the global model. HyFed provides developers with a generic API to develop federated, privacy-preserving algorithms. HyFed supports both simulation and federated operation modes and its source code is publicly available at https://github.com/tum-aimed/hyfed.

연구 동기 및 목표

• 모델 파라미터가 민감한 클라이언트 데이터를 드러낼 수 있는 분산 학습에서의 프라이버시 泄露 문제를 해결하기 위해.
• 시뮬레이션 및 실제 분산 운영 모드를 모두 지원하는 일반적이고 오픈소스인 프레임워크를 개발하기 위해.
• 모델 유틸리티를 훼손하지 않으면서도 차별적 프라이버시와 같은 프라이버시 강화 기법을 분산 학습에 통합하기 위해.
• 다양한 머신러닝 작업에 걸쳐 사용자 정의 분산 알고리즘을 구현할 수 있도록 개발자 友好的 API 를 제공하기 위해.

제안 방법

• HyFed는 웹앱, 클라이언트, 보상기구, 서버의 네 가지 구성 요소로 이루어진 아키텍처를 사용하며, 각각 별도의 물리적 머신에서 실행됩니다.
• 클라이언트는 국소 모델을 계산하고, 이를 마스킹하기 위해 가우시안 노이즈를 추가한 후 서버로 전송합니다.
• 보상기구는 모든 클라이언트로부터 온 노이즈 값을 집계하여 그 합을 다시 서버로 전송하여 노이즈를 상쇄합니다.
• 서버는 노이즈가 더해진 국소 모델들의 합과 집계된 노이즈의 음수를 합쳐 전역 모델을 업데이트함으로써 유틸리티를 복원합니다.
• 프레임워크는 개발자가 회귀, 카이제곱, 딥러닝 등을 포함한 사용자 정의 분산 알고리즘을 구현할 수 있도록 일반화된 API를 사용합니다.
• 상호정보량 분석을 통해, 정직하지만 호기심이 많은 위협 모델 하에서 노이즈가 더해진 모델이 원래 국소 모델에 대한 정보를 泄露하지 않는다는 점을 입증함으로써 프라이버시를 확보합니다.

실험 결과

연구 질문

• RQ1 전역 모델의 유틸리티를 떨어뜨리지 않으면서도 분산 학습의 프라이버시를 어떻게 향상시킬 수 있는가?
• RQ2 시뮬레이션 및 실제 분산 배포를 동시에 지원하면서도 프라이버시를 보장하는 아키텍처 및 알고리즘 구성 요소는 무엇이 필요한가?
• RQ3 노이즈 마스킹과 보상기반 노이즈 제거를 조합한 하이브리드 접근 방식이 모델 역전환 공격을 효과적으로 방지할 수 있는가?
• RQ4 보안성과 성능을 유지하면서도 다양한 분산 학습 알고리즘을 지원할 수 있도록 일반화된 API는 어떻게 설계할 수 있는가?
• RQ5 정보이론적 분석 하에서 제안된 노이즈 마스킹 메커니즘의 이론적 프라이버시 보장 수준은 무엇인가?

주요 결과

• 비음수 정수에 대해 원래 국소 모델과 노이즈가 더해진 모델 간의 상호정보량은 0이며, 이는 정보 泄露가 없다는 것을 의미합니다.
• 실수형 수치의 경우, 상호정보량은 $ \frac{1}{2}\log_2(1 + \frac{\sigma^2_{M_L}}{\sigma^2_N}) $ 로 유계이며, 노이즈 분산을 증가시킴으로써 이를 최소화할 수 있습니다.
• 노이즈 분산 $ \sigma^2_N = 10^{12} $ 일 경우, 상호정보량은 무시할 수 있을 정도로 작아져 강력한 프라이버시 보장을 확보합니다.
• 보상기반 노이즈 제거 기법은 재학습이나 추가 통신 없이도 전역 모델의 유틸리티를 복원합니다.
• 프레임워크는 시뮬레이션 및 실제 분산 운영을 모두 지원하여 실질적인 배포와 실험을 가능하게 합니다.
• HyFed API 는 핵심 소스 코드를 수정하지 않고도 개발자가 사용자 정의 분산 알고리즘을 쉽게 구현할 수 있도록 하여 확장성을 향상시킵니다.