[논문 리뷰] Privacy-Preserving Aggregation in Federated Learning: A Survey

Ziyao Liu, Jiale Guo외 4명|arXiv (Cornell University)|2022. 03. 31.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 종합적 서베이는 연합 학습(FL)에서 개인정보 보호 기반 집계(PPAgg) 프로토콜에 대해 광범위한 분석을 제공하며, 마스킹 기반, 히든 엔크립션(HE) 기반, MPC 기반, DP 기반 및 하이브리드 접근 방식을 평가한다. 보안, 효율성, 내성성 간의 핵심 상충 관계를 규명하고, 처리량, 하이브리드 보안 통합, 통신 최적화와 같은 과제를 제시한다.

ABSTRACT

Over the recent years, with the increasing adoption of Federated Learning (FL) algorithms and growing concerns over personal data privacy, Privacy-Preserving Federated Learning (PPFL) has attracted tremendous attention from both academia and industry. Practical PPFL typically allows multiple participants to individually train their machine learning models, which are then aggregated to construct a global model in a privacy-preserving manner. As such, Privacy-Preserving Aggregation (PPAgg) as the key protocol in PPFL has received substantial research interest. This survey aims to fill the gap between a large number of studies on PPFL, where PPAgg is adopted to provide a privacy guarantee, and the lack of a comprehensive survey on the PPAgg protocols applied in FL systems. In this survey, we review the PPAgg protocols proposed to address privacy and security issues in FL systems. The focus is placed on the construction of PPAgg protocols with an extensive analysis of the advantages and disadvantages of these selected PPAgg protocols and solutions. Additionally, we discuss the open-source FL frameworks that support PPAgg. Finally, we highlight important challenges and future research directions for applying PPAgg to FL systems and the combination of PPAgg with other technologies for further security improvement.

연구 동기 및 목표

• 연합 학습(FL) 시스템에서 개인정보 보호 기반 집계(PPAgg) 프로토콜에 특화된 종합적 서베이가 부족한 문제를 해결하기 위해.
• 마스킹, 히든 엔크립션(HE), 다중 당사자 계산(MPC), 차등적 비밀보장(DP), 하이브리드 방식을 포함한 주요 PPAgg 프로토콜의 설계, 장점 및 한계를 분석하기 위해.
• PPAgg를 지원하는 오픈소스 FL 프레임워크를 평가하고 실질적 구현에서의 격차를 파악하기 위해.
• 처리량 저하, 악성 동작에 대한 내성성, 기타 개인정보 보호 기반 기술과의 통합과 같은 열린 과제를 부각하기 위해.
• PPFL 시스템에서 보안과 효율성을 향상시키기 위한 잠재적인 연구 방향을 규명하여 향후 연구를 안내하기 위해.

제안 방법

• 마스킹, 히든 엔크립션(HE), 다중 당사자 계산(MPC), 차등적 비밀보장(DP), 하이브리드 방법을 기반으로 PPAgg 프로토콜를 분류하기.
• 각 프로토콜 유형에 대해 보안 특성(예: 반반성 및 활성 공격자에 대한 저항성), 효율성(계산 및 통신 오버헤드), 참가자 이탈에 대한 내성성 분석하기.
• PPAgg의 시스템 수준 기능(예: 배치 처리, 압축(예: Top-k 스퍼스피케이션), 하드웨어 가속(예: FPGA, GPU))과의 통합 평가하기.
• TensorFlow Federated 및 Flower와 같은 오픈소스 FL 프레임워크를 조사하여 프로토콜 지원 및 구현 성숙도 평가하기.
• 위조 공격 및 추론 공격에 대응하기 위해 PPAgg를 추가 방어 기법(예: 검증 가능한 비밀 공유, 블록체인, TEE)과 조합한 하이브리드 기법 제안하기.
• 일반적인 암호 기반 원리로 인해 높은 통신 및 계산 비용이 발생하는 PPAgg 프로토콜의 성능 저하 요인을 분석하고 최적화 기회 규명하기.

실험 결과

연구 질문

• RQ1 마스킹, HE, MPC, DP 기반 접근 방식을 포함한 다양한 PPAgg 프로토콜 유형 간의 핵심 설계 원칙과 상충 관계는 무엇인가요?
• RQ2 PPAgg 프로토콜는 반반성 및 활성 공격자에 대비한 보안 수준에서 어떻게 성능을 발휘하며, 참가자 이탈 상황에서의 내성성 특성은 어떠한가요?
• RQ3 기존 PPAgg 프로토콜에서 주요 성능 저하 요인은 무엇이며, 특히 통신 및 계산 오버헤드 측면에서 어떻게 완화할 수 있을까요?
• RQ4 PPAgg는 어떻게 Byzantine 내성 집계, TEE, 또는 블록체인과 같은 다른 개인정보 보호 및 보안 메커니즘과 효과적으로 통합될 수 있으며, 이는 위조 및 추론 공격에 대응하기 위해 어떻게 기여할 수 있을까요?
• RQ5 압축 기법을 PPAgg와 통합하는 데 현재 어떤 제약이 있으며, 순서 정보 泄露를 방지하면서도 개인정보 보호 기반 벡터 재구성은 어떻게 달성할 수 있을까요?

주요 결과

• 마스킹 기반 프로토콜인 SecAgg는 자원 제약이 있는 크로스디바이스 FL 환경에서 강력한 개인정보 보호 보장을 제공하며 뛰어난 효율성과 이탈 내성성을 확보하고 있어 적합하다.
• HE 기반 및 MPC 기반 프로토콜는 강력한 보안을 제공하지만 높은 계산 및 통신 비용으로 인해 대규모 FL 구현에서의 확장성에 한계가 있다.
• DP 기반 집계는 공식적인 개인정보 보장 기능을 제공하지만, 특히 고차원 모델 업데이트에서 모델 유틸리티의 심각한 저하를 초래하는 경우가 많다.
• 검증 가능한 비밀 공유 또는 TEE와 같은 기법과 PPAgg를 조합한 하이브리드 기법은 서버 측 위조 및 추론 공격에 대응하는 데 보안을 강화할 수 있지만, 통합 복잡성은 여전히 과제이다.
• 통신 오버헤드는 여전히 주요 성능 저하 요인이며, 경량 암호 기반 원리 및 배치 처리 기법(예: HE에서의 SIMD, 배치 암호화)이 처리량 향상에 핵심적이다.
• Top-k 스퍼스피케이션과 같은 압축 기법은 순서 정보 泄露로 인해 PPAgg와 통합하기 어려우며, 개인정보 유출을 방지하기 위해 새로운 안전한 재구성 메커니즘의 개발이 필요하다.