[논문 리뷰] ESMFL: Efficient and Secure Models for Federated Learning

Sheng Lin, Chenghong Wang외 4명|arXiv (Cornell University)|2020. 09. 03.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 6

한 줄 요약

ESMFL은 보안 모델 집계와 가중치 프루닝을 통해 통신 비용을 줄이는 프라이버시 보장형 피어드 학습 프레임워크를 제안한다. ADMM 기반 프루닝과 SGX 보호된 에이드를 통합함으로써 최대 87배의 모델 압축을 달성하면서 정확도 손실을 최소화하였으며, MNIST에서는 통신량을 48.78% 감소시키고 총 학습 시간을 2.4배 단축하였고, CIFAR-10에서는 1.8배 단축하였다.

ABSTRACT

Nowadays, Deep Neural Networks are widely applied to various domains. However, massive data collection required for deep neural network reveals the potential privacy issues and also consumes large mounts of communication bandwidth. To address these problems, we propose a privacy-preserving method for the federated learning distributed system, operated on Intel Software Guard Extensions, a set of instructions that increase the security of application code and data. Meanwhile, the encrypted models make the transmission overhead larger. Hence, we reduce the commutation cost by sparsification and it can achieve reasonable accuracy with different model architectures.

연구 동기 및 목표

• 큰 모델 전송과 기울기 泄露로 인한 높은 통신 비용과 프라이버시 위험을 해결하기 위해.
• 특히 자원이 제한된 엣지 디바이스에서 모델 정확도를 떨어뜨리지 않고 통신 오버헤드를 줄이기 위해.
• 정확도를 떨어뜨리는 노이즈 기반의 차별적 프라이버시를 제거함으로써 피어드 학습의 데이터 프라이버시를 향상시키기 위해.
• 일반적인 IID 및 비일반적인 non-IID 데이터 환경에서 높은 정확도를 유지하면서도 구조적 가중치 프루닝을 통해 극한의 모델 압축을 가능하게 하기 위해.
• 비용이 많이 드는 에이드 호출(ECall/OCALL)을 최소화하고 국소 학습 및 집계를 가속화함으로써 종단 간 학습 시간을 최적화하기 위해.

제안 방법

• Intel 소프트웨어 가드 엔클레이브(SGX)를 통합하여 보안 모델 집계 및 키 관리를 위한 신뢰할 수 있는 실행 환경(에이드)을 생성한다.
• 정규화를 적응적으로 조정하는 ADMM 기반 프루닝 알고리즘을 사용하여 희박한 모델을 효율적으로 학습하고 정확도를 유지한다.
• 전송 전에 모델 가중치를 압축된 희소 행렬(CSR) 형식으로 변환하여 통신 부담을 줄인다.
• 클라이언트 측에서 모델 업데이트를 암호화하고 원격 진단을 통해 보안 키 배포를 수행하여 데이터 기밀성을 확보한다.
• 클라이언트와 CSP 간의 데이터 전송을 최적화하고 작업을 배치함으로써 SGX 내부의 ECall 및 OCall 오버헤드를 최소화한다.
• 모델 집합을 SGX 에이드 내부에서 수행하여 기울기나 모델 파라미터에 대한 위변경 및 무단 접근을 방지한다.

실험 결과

연구 질문

• RQ1 SGX 보호된 피어드 학습과 효과적으로 통합될 수 있는 가중치 프루닝은 정확도 손실 없이 통신 비용을 줄일 수 있는가?
• RQ2 제안된 ADMM 기반 정규화 방법은 기존 방법에 비해 피어드 프루닝에서 수렴성과 희박성 향상에 어떻게 기여하는가?
• RQ3 비일반적인 non-IID 데이터에서 성능을 유지하면서도 모델 압축이 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 SGX 기반 보안이 종단 간 학습 시간에 미치는 영향, 특히 ECall 및 OCall 지연 시간 측면에서의 영향은 어떠한가?
• RQ5 동일한 프루닝 비율에서 노이즈 증강 피어드 학습과 비교해 ESMFL은 정확도와 통신 효율성 측면에서 어떻게 성능을 냈는가?

주요 결과

• MNIST에서 LeNet-5를 사용할 경우, ESMFL은 98.78%의 테스트 정확도를 달성하였고, 9.99배의 모델 압축을 이룩하였으며, non-IID 데이터에서는 97.60%의 정확도를 기록하여 통신량을 34.85% 감소시키고 총 학습 시간을 1.8배 단축시켰다.
• MNIST에서 87배의 압축을 달성한 ESMFL은 비압축 피어드 학습 대비 총 학습 시간을 2.4배 단축시키고 통신 비용을 48.78% 감소시켰다.
• CIFAR-10에서 MobileNetV2를 사용할 경우, ESMFL은 4.95배의 압축 비율에서 85.40%의 정확도를 달성하였고, non-IID 데이터에서는 81.66%의 정확도를 기록하여 통신량을 15.85% 감소시키고 학습 시간을 1.2배 단축시켰다.
• CIFAR-10에서 8.7배의 압축 비율을 적용한 경우, ESMFL은 통신 비용을 31.3% 감소시키고 총 경과 시간을 1.8배 단축시켜 기존 기준 대비 뛰어난 성능을 보였다.
• 유사한 희박성 수준에서 ESMFL은 마스킹 프루닝보다 높은 정확도를 달성하였다. 예를 들어, non-IID CIFAR-10에서 79.8%의 희박성 수준에서 정확도는 81.66% 대비 80.44%를 기록하였다.
• MobileNetV2와 같은 더 큰 모델에서는 ECall 및 OCall 시간이 핵심 성능 저하 요인으로 작용하였으며, 이러한 연산 최적화가 성능 향상에 크게 기여하였다.