[논문 리뷰] HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

Runhua Xu, Nathalie Baracaldo외 3명|arXiv (Cornell University)|2019. 12. 12.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 40

한 줄 요약

하이브리드알파(HybridAlpha)는 연합학습에서 다중 입력 펑셔널 암호화 기반 SM C를 사용하여 학습 시간과 통신을 줄이면서도 모델 성능과 프라이버시를 유지하며, 참여자 참여가 동적으로 발생해도 견딥니다.

ABSTRACT

Federated learning has emerged as a promising approach for collaborative and privacy-preserving learning. Participants in a federated learning process cooperatively train a model by exchanging model parameters instead of the actual training data, which they might want to keep private. However, parameter interaction and the resulting model still might disclose information about the training data used. To address these privacy concerns, several approaches have been proposed based on differential privacy and secure multiparty computation (SMC), among others. They often result in large communication overhead and slow training time. In this paper, we propose HybridAlpha, an approach for privacy-preserving federated learning employing an SMC protocol based on functional encryption. This protocol is simple, efficient and resilient to participants dropping out. We evaluate our approach regarding the training time and data volume exchanged using a federated learning process to train a CNN on the MNIST data set. Evaluation against existing crypto-based SMC solutions shows that HybridAlpha can reduce the training time by 68% and data transfer volume by 92% on average while providing the same model performance and privacy guarantees as the existing solutions.

연구 동기 및 목표

• 프라이버시를 보장하는 연합 학습의 필요성을 강조하고 모델 업데이트 중 데이터 누출을 제한한다.
• 기존의 암호 기반 SM C 접근 방식에 비해 통신 오버헤드와 학습 시간을 줄인다.
• 재키링 없이 동적 참여자 참여(탈락 및 신규 합류)를 지원한다.
• 정직하지만 호기심 많은 집계자와 연합 참여자에 대해 강력한 프라이버시 보장을 제공한다.
• MNIST의 CNN에 대한 적용 가능성을 시연하고 기본 SMC 방법과 비교한다.

제안 방법

• 연합 학습에서 보안 집계를 수행하기 위해 다중 입력 펑셔널 암호화(MIFE) 스킴을 사용한다.
• 키를 초기화하고 각 참여자별 공개키를 배포하기 위해 신뢰할 수 있는 제3자 기관(TPA)을 사용한다.
• MIFE 기반 집계에 차등 프라이버시 메커니즘을 통합한다.
• 개별 업데이트를 노출시킬 수 있는 키/공격 벡터를 제한하기 위한 추론 예방 모듈(Inference Prevention Module)을 도입한다.
• 가중 집계 벡터를 조정하여 전체 재키링 없이도 동적 참여자 참여를 허용한다.
• 기존 SMC 접근 방식과의 분석 및 벤치마킹을 제공하여 효율성 향상을 수치화한다.

실험 결과

연구 질문

• RQ1 HybridAlpha가 기존의 SMC 기반 FL 접근 방식보다 적은 암호 라운드로 프라이버시 보장 집계를 달성할 수 있는가?
• RQ2 펑셔널 암호화 기반 접근 방식이 TP-SMC 및 P-SMC 기반선 대비 학습 시간, 통신 비용, 모델 정확도에 어떤 영향을 미치는가?
• RQ3 학습 중 탈락 및 신규 참여자 추가를 HybridAlpha가 견고하게 처리하는가?
• RQ4 정의된 위협 모델(정직하지만 호기심 많은 집계자, 연합 참여자, 신뢰받는 TPA) 하에서 보안/프라이버시 보장은 무엇인가?

주요 결과

• 기존의 암호 기반 SMC 솔루션에 비해 평균 68%의 학습 시간이 감소한다.
• 데이터 전송량이 평균적으로 92% 감소한다.
• HybridAlpha는 기존 접근 방식과 동일한 모델 성능 및 프라이버시 보장을 달성한다.
• 재키링 없이 탈락 및 재가입이 가능한 동적 참여자 참여를 프레임워크가 지원한다.
• 추론 예방 모듈(Inference Prevention Module)이 호기심 많은 집계자 및 연합 참여자에 의한 추론 공격을 완화한다.
• MNIST에서 CNN으로의 평가가 효율성 향상과 강력한 프라이버시 보호를 보여준다.