[논문 리뷰] Privacy-preserving Weighted Federated Learning within Oracle-Aided MPC Framework

Huafei Zhu, Zengxiang Li외 2명|arXiv (Cornell University)|2020. 03. 17.

Cryptography and Data Security참고 문헌 20인용 수 7

한 줄 요약

이 논문은 암호화된 데이터 무게와 모델 업데이트를 암호공간에서 처리하는 오라클 지원 다자간 계산(MPC) 모델을 사용한 새로운 프라이버시 보장 가중치 연합 학습(wFL) 프레임워크를 소개한다. 이 솔루션은 비밀 분할과 보안 MPC 프로토콜—특히 ShareMind—을 활용하여 효율적이고 프라이버시 보장된 가중치 모델 업데이트 집계를 가능하게 하며, 기초 곱셈 프로토콜이 보안일 경우 정직하지만 호기심 많은 적대자 모델 하에서 보안이 입증된다.

ABSTRACT

This paper studies privacy-preserving weighted federated learning within the oracle-aided multi-party computation (MPC) framework. The contribution of this paper mainly comprises the following three-fold: In the first fold, a new notion which we call weighted federated learning (wFL) is introduced and formalized inspired by McMahan et al.'s seminal paper. The weighted federated learning concept formalized in this paper differs from that presented in McMahan et al.'s paper since both addition and multiplication operations are executed over ciphers in our model while these operations are executed over plaintexts in McMahan et al.'s model. In the second fold, an oracle-aided MPC solution for computing weighted federated learning is formalized by decoupling the security of federated learning systems from that of underlying multi-party computations. Our decoupling formulation may benefit machine learning developers to select their best security practices from the state-of-the-art security tool sets; In the third fold, a concrete solution to the weighted federated learning problem is presented and analysed. The security of our implementation is guaranteed by the security composition theorem assuming that the underlying multiplication algorithm is secure against honest-but-curious adversaries.

연구 동기 및 목표

• 모델 무게와 업데이트가 모두 평문이 아닌 암호공간에서 처리되는 새로운 가중치 연합 학습(wFL)의 개념을 체계화하는 것. 이는 기존의 평문 기반 연합 평균과 다름.
• wFL의 보안을 기초 MPC 프로토콜에서 분리하여, 기계학습 개발자가 최신 MPC 도구를 모듈러하게 선택할 수 있도록 하는 것.
• ShareMind MPC 프레임워크와 비밀 분할 기법을 사용한 구체적이고 효율적인 wFL 구현을 제시하고 분석하는 것.
• 기초 곱셈 프로토콜이 보안일 경우 정직하지만 호기심 많은 적대자 모델 하에서 제안된 wFL 프로토콜의 보안을 증명하는 것.

제안 방법

• 세 서버에 걸쳐 비밀 분할(샤미어의 체계)을 사용하여 암호화된 무게와 모델 업데이트를 분산 배포함으로써, 어느 한 당사자도 전체 값을 알 수 없도록 보장.
• Beaver 삼중항 기반 MPC 기법을 사용해 공유 값 위에서 덧셈 및 곱셈 연산을 수행함으로써, 입력을 드러내지 않은 채 가중 평균을 안전하게 계산.
• wFL의 기능을 보안 곱셈 오라클로 환원함으로써, 기존 MPC 툴킷(예: ShareMind)과의 모듈러 통합을 가능하게 함.
• 시스템은 암호공간에서 $[n_1][w_1] + \cdots + [n_K][w_K]$로 모델 업데이트의 가중합을 계산한 후 총 샘플 수 $n$으로 복호화 및 정규화.
• 반반 모델에서 시뮬레이션 기반 증명을 통해 보안을 확보함. 이 경우 시뮬레이터가 기초 MPC 프로토콜의 시뮬레이터를 사용해 각 당사자의 시각을 모의함.
• 모든 운영이 입력 프라이버시를 유지하는 방식으로 수행되도록, 각 당사자가 입력의 공유를 보유하는 3서버 아키텍처를 사용함.

실험 결과

연구 질문

• RQ1 가중치 연합 학습은 어떻게 체계화할 수 있는가? 이때 클라이언트 데이터 무게와 모델 업데이트가 모두 암호공간에서 보호되어야 한다.
• RQ2 wFL 프로토콜의 보안을 기초 MPC 프로토콜에서 분리하여 현대 MPC 툴킷과의 탄력적 통합이 가능할 수 있는가?
• RQ3 민감한 클라이언트 데이터를 드러내지 않은 채, MPC 기반으로 효율적이고 안전한 가중 모델 집계를 수행하는 방법은 무엇인가?
• RQ4 제안된 wFL 프로토콜은 어떤 위협 모델 하에서 보안이며, 어떻게 공식적으로 보증할 수 있는가?

주요 결과

• 논문은 기존 평문 기반 연합 평균과 다름없는 새로운 wFL 모델을 체계화하였으며, 이는 무게 $n_k$와 모델 업데이트 $w_{t+1}^k$가 모두 암호공간에서 처리됨을 보여준다.
• 제안된 솔루션은 wFL 보안을 기초 MPC 프로토콜에서 분리하여, 개발자가 ShareMind와 같은 곱셈 프리미티브를 자유롭게 통합할 수 있도록 한다.
• 비밀 분할과 Beaver 삼중항 기반 곱셈을 사용한 구현은 효율적인 계산을 달성하며, 다수의 클라이언트에 대해 확장 가능하다.
• 공식적인 보안 증명을 통해 프로토콜이 정직하지만 호기심 많은 적대자에 대해 보안됨을 입증하였으며, 이는 기초 곱셈 프로토콜이 보안일 경우를 전제로 한다.
• 프로토콜은 암호공간에서 가중 평균 $\sum_{k=1}^K \frac{n_k}{n} w_{t+1}^k$ 를 정확히 계산하고, 중간 값들을暴露하지 않고 결과를 복호화한다.