[논문 리뷰] Privacy Preserving Stochastic Channel-Based Federated Learning with Neural Network Pruning

Rulin Shao, Hui Liu외 1명|arXiv (Cornell University)|2019. 10. 04.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 5

한 줄 요약

이 논문은 선택적 채널 업로드와 신경망 프루닝을 통합한 프라이버시 보장형 피어드 페더레이티드 러닝 프레임워크인 Stochastic Channel-Based Federated Learning with Pruning (SCBFwP)를 제안한다. 이는 로컬 모델의 가장 활성도가 높은 기울기 채널만 서버로 업로드하여 데이터 泄유를 줄이고도 높은 성능을 유지한다. 채널 기반 기울기 선택과 반복적 신경망 프루닝을 조합함으로써, 기존 Federated Averaging 대비 최대 85%의 전정보 유출 감소와 함께 수렴 속도 향상을 달성하였으며, 프루닝 후 훈련 시간은 57% 빠르게 개선되었다.

ABSTRACT

Artificial neural network has achieved unprecedented success in a wide variety of domains such as classifying, predicting and recognizing objects. This success depends on the availability of big data since the training process requires massive and representative data sets. However, data collection is often prevented by privacy concerns and people want to take control over their sensitive information during both training and using processes. To address this problem, we propose a privacy-preserving method for the distributed system, Stochastic Channel-Based Federated Learning (SCBF), which enables the participants to train a high-performance model cooperatively without sharing their inputs. We design, implement and evaluate a channel-based update algorithm for the central server in a distributed system, which selects the channels with regard to the most active features in a training loop and uploads them as learned information from local datasets. A pruning process is applied to the algorithm based on the validation set, which serves as a model accelerator. In the experiment, our model presents equal performances and higher saturating speed than the Federated Averaging method which reveals all the parameters of local models to the server when updating. We also demonstrate that the converging rates could be increased by introducing a pruning process.

연구 동기 및 목표

• 모델 업데이트 중 기울기 값과 선택 메커니즘 양측에서 발생하는 프라이버시 泄유 문제를 해결하기 위해.
• 모델 성능을 훼손하지 않으면서 통신 오버헤드와 전정보 유출을 줄이기 위해.
• 프라이버시 보장 환경에서 반복적 신경망 프루닝을 통해 훈련 수렴 속도를 가속화하기 위해.
• 채널 기반 페더레이티드 러닝 프레임워크에서 프루닝 비율, 업데이트 빈도, 모델 성능 간의 트레이드오���을 평가하기 위해.

제안 방법

• SCBF 프레임워크는 각 레이어별로 크기 임계값을 기반으로 가장 활성도가 높은 기울기 채널만 선택하여 업로드함으로써 서버와 공유되는 데이터 양을 줄인다.
• 로컬 모델의 기울기에는 채널 기반 희소화 메커니즘이 적용되어 영향력이 큰 특징만 전송되도록 보장한다.
• 전역 훈련 루프 기간 동안 반복적으로 신경망 프루닝을 적용하여 모델 크기와 계산 비용을 감소시킨다.
• 프루닝 과정은 검증 세트 성능에 의해 유도되며, 정확도를 유지하기 위해 각 훈련 루프마다 프루닝 비율을 조정한다.
• 서버는 오직 선택된 채널만 집계하여 전체 모델 가중치 전송을 피하고 정보 노출을 제한한다.
• 희소 업로드와 선택적 채널 전송 덕분에 차별적 프라이버시가 강화되어 모델 역전환 공격 위험을 감소시킨다.

실험 결과

연구 질문

• RQ1 선택적 채널 기반 기울기 업로드 방식이 모델 성능을 유지하면서도 페더레이티드 러닝에서 전정보 유출을 줄일 수 있는가?
• RQ2 반복적 신경망 프루닝이 프라이버시 보장 환경에서 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 훈련 효율성을 극대화하기 위해 루프당 최적의 프루닝 비율과 총 프루닝 비율의 균형은 무엇인가?
• RQ4 채널 업데이트 빈도는 프라이버시 보호와 계산 오버헤드에 어떤 영향을 미치는가?

주요 결과

• SCBFwP는 Federated Averaging 대비 전정보 유출을 85% 감소시켜 프라이버시를 크게 향상시켰다.
• 모델는 더 빠른 포화 도달 속도를 기록했으며, 전체 파ameter 업로드를 한 Federated Averaging와 동일하거나 더 높은 AUCROC(0.9769)와 AUCPR(0.9663) 성능을 달성했다.
• 프루닝 후 훈련 시간은 SCBF에서 57% 감소했고, Federated Averaging에서는 48% 감소했으며, SCBFwP는 프루닝 후 총 8,469초 만에 훈련을 완료했다.
• 고정된 루프당 프루닝 비율을 적용한 모델는 총 프루닝 비율을 고정한 경우보다 더 안정적인 성능을 보였으며, 이는 훈련 동역학에 대한 더 나은 제어를 의미한다.
• 낮은 업데이트 빈도(예: 10%)는 더 빠른 훈련 시간을 가져왔으며, 이는 프라이버시와 효율성 사이의 트레이드오프를 시사한다.
• 최적의 루프당 프루닝 비율은 약 30–50%로 확인되었으며, 총 프루닝 비율이 47%일 때도 성능이 안정적으로 유지되었다.