[논문 리뷰] Cloud-based Federated Boosting for Mobile Crowdsensing

Zhuzhu Wang, Yilong Yang외 4명|arXiv (Cornell University)|2020. 05. 09.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 5

한 줄 요약

이 논문은 모바일 커니스닝 환경에서 XGBoost 모델의 기밀 보장 훈련을 가능하게 하는 시크릿 공유 기반의 분산 학습 아키텍처인 FedXGB를 제안한다. 시크릿 공유를 활용해 안전한 CART 구축과 모델 예측을 수행함으로써, 사용자 데이터 복원 공격과 모델 도용을 모두 저지하며, 비기밀 XGBoost에 비해 정확도 손실가 1% 미만을 기록한다. 이와 동시에 데이터, 기울기, 모델 파라미터를 모두 보호한다.

ABSTRACT

The application of federated extreme gradient boosting to mobile crowdsensing apps brings several benefits, in particular high performance on efficiency and classification. However, it also brings a new challenge for data and model privacy protection. Besides it being vulnerable to Generative Adversarial Network (GAN) based user data reconstruction attack, there is not the existing architecture that considers how to preserve model privacy. In this paper, we propose a secret sharing based federated learning architecture FedXGB to achieve the privacy-preserving extreme gradient boosting for mobile crowdsensing. Specifically, we first build a secure classification and regression tree (CART) of XGBoost using secret sharing. Then, we propose a secure prediction protocol to protect the model privacy of XGBoost in mobile crowdsensing. We conduct a comprehensive theoretical analysis and extensive experiments to evaluate the security, effectiveness, and efficiency of FedXGB. The results indicate that FedXGB is secure against the honest-but-curious adversaries and attains less than 1% accuracy loss compared with the original XGBoost model.

연구 동기 및 목표

• 기존의 이동형 커니스닝을 위한 분산 학습 아키텍처에서의 모델 기밀 보호 부족 문제를 해결하기 위해.
• 기울기 집계에 대한 GAN 기반 공격에 의한 사용자 데이터 복원 위험을 완화하기 위해.
• 공개된 모델을 악용하거나 역공학적으로 분석하는 적대자가 모델을 도용하는 것을 방지하기 위해.
• 사용자 참여의 동적 변화를 수용하기 위해 훈련 중 사용자 이탈을 처리할 수 있도록 하기 위해.
• 분산형 이동 감지 환경에서 기밀 보장 극한 기울기 부스팅을 위한 안전하고 효율적이며 확장 가능한 아키텍처를 설계하기 위해.

제안 방법

• XGBoost 훈련 중 사용자 데이터와 기울기를 보호하기 위해 덧셈 기반 시크릿 공유를 적용한다.
• 사용자 데이터 복원을 방지하기 위해 시크릿 공유된 입력을 활용해 분류 및 회귀 트리(CART)를 안전하게 구축하는 프로토콜을 설계한다.
• 모델 파라미터를 암호화하고 모델 泄露를 방지하기 위해 시크릿 공유 기반의 예측 프로토콜을 구현한다.
• 아키텍처 수준에서 기밀 보장을 향상시키고 중앙 서버의 부담을 줄이기 위해 엣지 서버를 도입한다.
• 사용자 입력 데이터 복원을 방지하기 위해 시크릿 공유된 기울기를 사용한 기울기 집계를 적용한다.
• 역문제 해결의 가능성을 제한하기 위해 정규화를 적용한 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 시크릿 공유 기법이 이동형 커니스닝 환경에서의 분산 XGBoost 훈련 중 사용자 데이터 기밀 보호에 효과적으로 기여할 수 있는가?
• RQ2 제안된 아키텍처가 사용자에게 모델을 공유할 경우 모델 기밀 유출을 방지할 수 있는가?
• RQ3 기본적인 분산 학습과 비교했을 때 FedXGB는 GAN 기반 사용자 데이터 복원 공격에 얼마나 효과적으로 저항하는가?
• RQ4 정확도 및 훈련 효율성 측면에서 FedXGB의 성능 오버헤드는 어떠한가?
• RQ5 엣지 서버의 통합이 분산 XGBoost 훈련에서 기밀 보장과 확장성 향상에 어떻게 기여하는가?

주요 결과

• FedXGB는 원본 XGBoost 모델에 비해 정확도 손실가 1% 미만을 기록하여 높은 모델 충실도를 입증한다.
• 아키텍처는 사용자 데이터 복원 공격에 효과적으로 저항한다: FedXGB에 대한 GAN 기반 공격는 식별 가능한 이미지가 아닌 랜덤 노이즈만 생성한다.
• FedXGB 하에서 복원된 이미지의 회색조 빈도 히스토GRAM은 원본 데이터와 유사성이 없음을 확인하여 기능 복원에 대한 저항력을 확인한다.
• CART 구축에 시크릿 공유를 적용함으로써 중앙 서버나 엣지 서버가 기울기로부터 입력 데이터를 복원할 수 없다.
• 모델 예측 프로토콜은 사용자가 모델에 접근하더라도 전체 모델 파라미터를 역공학하거나 도용할 수 없음을 보장한다.
• FedXGB는 높은 효율성과 확장성을 유지하여 동적 사용자 참여를 수반하는 대규모 이동형 커니스닝 환경을 지원한다.