[논문 리뷰] An Efficient and Multi-private Key Secure Aggregation for Federated Learning
이 논문은 신뢰할 수 있는 제3자 없이 클라이언트가 자체적으로 공개 키와 비밀 키를 선택할 수 있도록 함으로써, 신뢰할 수 있는 제3자가 필요 없는 새로운 효율적이고 다중 비밀키 기반의 안전한 집계 기반의联邦 학습을 위한 기술을 제안한다. 변형된 엘가말 암호화를 수정하고 초초기수열을 사용하여 고차원 모델 파라미터를 압축함으로써, 개인 기울기와 집계 결과 모두에 대해 의미론적 보안을 달성하며, 클라이언트 공모 및 클라이언트 탈락에 대해 강력한 내성성을 지님과 동시에 기존의 동형 암호화 기반 접근 방식에 비해 계산 및 통신 효율성을 크게 향상시킨다.
With the emergence of privacy leaks in federated learning, secure aggregation protocols that mainly adopt either homomorphic encryption or threshold secret sharing have been widely developed for federated learning to protect the privacy of the local training data of each client. However, these existing protocols suffer from many shortcomings, such as the dependence on a trusted third party, the vulnerability to clients being corrupted, low efficiency, the trade-off between security and fault tolerance, etc. To solve these disadvantages, we propose an efficient and multi-private key secure aggregation scheme for federated learning. Specifically, we skillfully modify the variant ElGamal encryption technique to achieve homomorphic addition operation, which has two important advantages: 1) The server and each client can freely select public and private keys without introducing a trust third party and 2) Compared to the variant ElGamal encryption, the plaintext space is relatively large, which is more suitable for the deep model. Besides, for the high dimensional deep model parameter, we introduce a super-increasing sequence to compress multi-dimensional data into 1-D, which can greatly reduce encryption and decryption times as well as communication for ciphertext transmission. Detailed security analyses show that our proposed scheme achieves the semantic security of both individual local gradients and the aggregated result while achieving optimal robustness in tolerating both client collusion and dropped clients. Extensive simulations demonstrate that the accuracy of our scheme is almost the same as the non-private approach, while the efficiency of our scheme is much better than the state-of-the-art homomorphic encryption-based secure aggregation schemes. More importantly, the efficiency advantages of our scheme will become increasingly prominent as the number of model parameters increases.
연구 동기 및 목표
- 기존의 연합 학습에서의 안전한 집계 프로토콜의 한계를 해결하기 위해, 신뢰할 수 있는 제3자 의존성, 클라이언트 해킹에 대한 취약성, 높은 계산 및 통신 오버헤드 문제를 해결한다.
- 키 생성 과정에서 신뢰할 수 있는 제3자가 필요 없도록 하면서도, 개인 기울기와 집계 결과에 대해 강력한 보안 보장을 유지한다.
- 초기수열을 사용한 차원 압축을 통해 암호화/복호화 연산과 암호문 전송을 줄임으로써 딥러닝 모델에 대한 효율성을 향상시킨다.
- 장애 허용성 또는 보안을 희생시키지 않고도 클라이언트 공모 및 클라이언트 탈락에 대해 최적의 내성성을 확보한다.
- 전송된 데이터에 대한 무단 접근을 방지함으로써, 개인 기울기뿐만 아니라 집계 결과의 기밀성까지 보장한다.
제안 방법
- 변형된 엘가말 암호화를 수정하여, 독립적으로 선택된 공개 및 비밀 키 하에서 덧셈 동형 연산을 지원함으로써, 신뢰할 수 있는 제3자가 없는 안전한 집계를 가능하게 한다.
- 각 클라이언트는 자체 공개 및 비밀 키 쌍을 사용하여 로컬 기울기를 암호화함으로써, 한 명의 클라이언트가 해킹되더라도 전체 시스템이 붕괴되지 않도록 보장한다.
- 다차원 모델 파라미터를 1차원 벡터로 압축하기 위해 초초기수열을 적용함으로써 암호화 및 복호화 연산 수를 줄이고 암호문 전송을 최소화한다.
- 프로토콜은 서버만 집계 결과를 복호화할 수 있도록 하며, 개인 기울기는 의미론적 보안을 유지한다.
- 다중 비밀키 환경 하에서 동형 성질을 유지할 수 있도록 철저한 설계를 거친 안전한 상호작용 프로토콜을 통해 보안을 확보한다.
- 시스템은 최적의 장애 내성성을 지님으로써 최대 n−t명의 클라이언트 탈락 또는 공모 상황에서도 정상적으로 작동한다. 여기서 t는 복원을 위한 임계값이다.
실험 결과
연구 질문
- RQ1신뢰할 수 있는 제3자가 키 생성에 관여하지 않는 연합 학습을 위한 안전한 집계 기반 기술을 설계할 수 있는가?
- RQ2클라이언트가 독립적으로 선택한 공개 및 비밀 키를 사용할 때, 동형 암호화가 덧셈 연산을 어떻게 지원할 수 있는가?
- RQ3고차원 모델 파라미터를 효과적으로 압축하여 암호화/복호화 및 통신 오버헤드를 줄일 수 있는 기법은 무엇인가?
- RQ4클라이언트 공모 및 클라이언트 탈락 상황에서도 개인 기울기와 집계 결과에 대해 의미론적 보안을 유지할 수 있는가?
- RQ5특히 모델 크기가 증가함에 따라, 기존의 동형 암호화 기반 안전한 집계 프로토콜에 비해 더 높은 효율성을 달성할 수 있는가?
주요 결과
- 제안된 기술은 클라이언트 공모 및 클라이언트 탈락 조건 하에서도 개인 로컬 기울기와 집계 결과에 대해 의미론적 보안을 달성한다.
- 신뢰할 수 있는 제3자가 필요 없게 되어 시스템의 보안성과 탈중앙화 수준이 향상된다.
- 수정된 엘가말 암호화의 변형을 통해 평문 공간이 크게 확장되어, 큰 파rameter 차원을 가진 딥러닝 모델에 더 적합해진다.
- 초초기수열의 사용으로 암호화 및 복호화 연산 수가 감소하고 암호문 전송이 최소화되어 뚜렷한 효율성 향상이 이루어진다.
- 성능 평가 결과, 제안된 기술은 최신 동형 암호화 기반 기술보다 계산 및 통신 효율성이 뛰어나며, 모델 크기가 증가할수록 그 우월성이 더욱 두드러진다.
- 제안된 기술의 정확도는 비공개 연합 학습과 거의 동일하여 모델 성능에 미치는 영향이 최소한임을 확인한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.