[논문 리뷰] Distributed Additive Encryption and Quantization for Privacy Preserving Federated Deep Learning

Hangyu Zhu, Rui Wang외 3명|arXiv (Cornell University)|2020. 11. 25.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 6

한 줄 요약

이 논문은 클라이언트 측의 양자화와 임계값 기반 비밀 분할을 사용한 덧셈형 동형 암호화를 활용한 분산형, 효율적이고 프라이버시를 보장하는 피어드 학습 프레임워크를 제안한다. 분산 키 생성을 통해 신뢰할 수 있는 제3자에 의존하지 않으며, 전체 모델 암호화를 피함으로써 통신 및 계산 오버헤드를 줄이면서도, 악성 조건 하에서도 비암호화된 FL과 1% 이내의 정확도를 유지한다.

ABSTRACT

Homomorphic encryption is a very useful gradient protection technique used in privacy preserving federated learning. However, existing encrypted federated learning systems need a trusted third party to generate and distribute key pairs to connected participants, making them unsuited for federated learning and vulnerable to security risks. Moreover, encrypting all model parameters is computationally intensive, especially for large machine learning models such as deep neural networks. In order to mitigate these issues, we develop a practical, computationally efficient encryption based protocol for federated deep learning, where the key pairs are collaboratively generated without the help of a third party. By quantization of the model parameters on the clients and an approximated aggregation on the server, the proposed method avoids encryption and decryption of the entire model. In addition, a threshold based secret sharing technique is designed so that no one can hold the global private key for decryption, while aggregated ciphertexts can be successfully decrypted by a threshold number of clients even if some clients are offline. Our experimental results confirm that the proposed method significantly reduces the communication costs and computational complexity compared to existing encrypted federated learning without compromising the performance and security.

연구 동기 및 목표

• 동형 암호화 기반 피어드 학습에서 신뢰할 수 있는 제3자에 의존하지 않고 키 배포를 제거하기 위해.
• 클라이언트에서 모델 파라미터를 양자화하여 대규모 딥러닝 모델을 암호화할 경우 발생하는 계산 및 통신 오버헤드를 줄이기 위해.
• 암호 해독을 위해 일부 클라이언트의 협력이 필요하도록 임계값 기반 비밀 분할을 통해 보안을 확보하기 위해.
• 모델 파라미터의 양자화와 암호화에도 불구하고 비암호화된 피어드 학습과 비교해 유사한 모델 성능을 유지하기 위해.

제안 방법

• 클라이언트는 로컬 학습을 수행하고, 암호화 이전에 모델 기울기를 저비트 표현(예: 8–15비트)으로 양자화한다.
• 양자화된 기울기에 대해 덧셈형 엘가말 암호화를 적용하여 서버에서 복호화 없이도 동형 덧셈을 수행할 수 있도록 한다.
• 분산 키 생성 프로토콜을 통해 클라이언트가 신뢰할 수 있는 제3자가 없이도 공개 및 비밀 키 조각을 공동으로 생성할 수 있도록 한다.
• 서버는 동형 덧셈을 사용하여 암호화된 기울기를 집계하여 각 모델 레이어당 하나의 암호문을 형성한다.
• 임계값 기반 비밀 분할 기법을 통해 오직 일정 수의 클라이언트가 협력할 경우에만 글로벌 비밀 키를 복원할 수 있도록 한다.
• 해당 조건이 충족될 경우에만 브루트 포스를 통한 평문 복원을 수행하며, 이는 15비트 이하의 인코딩 길이를 가진 모델에 대해 수용 가능한 시간 프레임 내에서 가능하다.

실험 결과

연구 질문

• RQ1 동형 암호화 기반 피어드 학습에서 신뢰할 수 있는 제3자에 의존하지 않고 기울기 역전공격에 대응할 수 있는가?
• RQ2 모델 파라미터의 양자화가 암호화된 피어드 학습에서 통신 효율성, 계산 비용, 모델 정확도 간의 트레이드오���에서 어떤 영향을 미치는가?
• RQ3 임계값 기반 비밀 분할 메커니즘이 중심 기관 없이도 안전하고 분산된 복호화를 보장할 수 있는가?
• RQ4 모델 성능을 유지하면서도 평문 복원이 계산적으로 실현 가능한 최대의 양자화 비트 길이는 얼마인가?
• RQ5 기존의 HE 기반 피어드 학습 시스템과 비교해 본다면, 제안된 방법은 통신 및 계산 오버헤드 측면에서 어떤가?

주요 결과

• 제안된 방법은 기존의 암호화된 피어드 학습 시스템에 비해 통신 및 계산 비용을 크게 줄였으며, 모델 성능에 거의 영향을 주지 않는다.
• 셰익스피어 데이터셋에서 15비트 양자화를 사용할 경우 모델 정확도가 비암호화된 FL과 비교해 약 1% 감소할 뿐이다.
• 일부 클라이언트가 오프라인 상태여도, 일정 수 이상의 클라이언트가 복호화에 참여할 경우 시스템은 여전히 안전하고 기능적으로 유지된다.
• 15비트 이하의 인코딩 길이를 가진 모델에 대해서는 브루트 포스 평문 복원이 수용 가능한 시간 내에서 가능하며, 학습이 수렴할수록 점점 더 빨라진다.
• 시스템은 결정적 디피헬먼 가정에 기반해 CPA 보안을 달성하여 암호화된 기울기의 기밀성을 보장한다.
• 분산 키 생성 프로토콜은 신뢰할 수 있는 제3자가 필요 없게 하여 시스템의 내구성과 확장성을 향상시킨다.