[논문 리뷰] Boosting Privately: Privacy-Preserving Federated Extreme Boosting for Mobile Crowdsensing

Yang Liu, Zhuo Ma외 4명|arXiv (Cornell University)|2019. 07. 24.

Mobile Crowdsensing and Crowdsourcing참고 문헌 40인용 수 53

한 줄 요약

FedXGB는 개인 정보를 보호하는 연합형 XGBoost 프레임워크를 제시하며, 합성 보안 집계(동형 암호화와 비밀 공유의 결합)를 사용하여 집계를 강제하고 모바일 크라우드센싱에서 사용자 이탈을 처리합니다. HE 기반 업데이트에서 런타임과 통신을 줄이면서 원래 XGBoost에 가까운 정확도를 달성합니다.

ABSTRACT

Recently, Google and other 24 institutions proposed a series of open challenges towards federated learning (FL), which include application expansion and homomorphic encryption (HE). The former aims to expand the applicable machine learning models of FL. The latter focuses on who holds the secret key when applying HE to FL. For the naive HE scheme, the server is set to master the secret key. Such a setting causes a serious problem that if the server does not conduct aggregation before decryption, a chance is left for the server to access the user's update. Inspired by the two challenges, we propose FedXGB, a federated extreme gradient boosting (XGBoost) scheme supporting forced aggregation. FedXGB mainly achieves the following two breakthroughs. First, FedXGB involves a new HE based secure aggregation scheme for FL. By combining the advantages of secret sharing and homomorphic encryption, the algorithm can solve the second challenge mentioned above, and is robust to the user dropout. Then, FedXGB extends FL to a new machine learning model by applying the secure aggregation scheme to the classification and regression tree building of XGBoost. Moreover, we conduct a comprehensive theoretical analysis and extensive experiments to evaluate the security, effectiveness, and efficiency of FedXGB. The results indicate that FedXGB achieves less than 1% accuracy loss compared with the original XGBoost, and can provide about 23.9% runtime and 33.3% communication reduction for HE based model update aggregation of FL.

연구 동기 및 목표

• 모바일 크라우드센싱에서 XGBoost에 대한 프라이버시를 보호하는 연합 학습을 동기를 부여한다.
• FedXGB를 개발하여 강제(항상 집계되는) 그래디언트 업데이트를 가능하게 한다.
• HE와 비밀 공유를 결합한 안전하고 드롭아웃에 강건한 집계 메커니즘을 제공한다.
• CART와 분할을 안전하게 학습시켜 XGBoost로 FL을 확장한다.

제안 방법

• 중앙 서버와 모바일 사용자로 구성된 FedXGB 아키텍처를 도입한다.
• Bresson의 암호체계와 Shamir의 비밀 공유를 결합한 하이브리드 보안 집계 SecAgg를 제안한다.
• 안전한 CART 구축을 위한 SecBoost와 안전한 분할 찾기를 위한 SecFind를 개발한다.
• 보안 공유 키 파생을 위한 Key.Agr와 마스킹된 그래디언트 전송을 위한 SecMask를 구현한다.
• Shamir 공유를 통해 누락된 마스크 키를 재구성하여 드롭아웃 복구를 제공한다.
• 표준 데이터 세트에서 정확도 손실이 < 1%이고 런타임은 23.9%, 통신은 33.3% 감소를 보이는 것을 평가한다.

실험 결과

연구 질문

• RQ1 개인 사용자 데이터를 노출하지 않고 연합형 XGBoost를 어떻게 학습시킬 수 있는가?
• RQ2 업데이트가 복호화될 때 정보를 누설하지 못하도록 강제 집계가 방지할 수 있는가?
• RQ3 보안 집계 중에 FedXGB는 사용자 드롭아웃을 어떻게 처리하는가?
• RQ4 제안된 보안 집계 방식의 성능 트레이드오프(정확도, 런타임, 통신)는 FL-XGBoost에서 어떤가?
• RQ5 안전한 CART 구축 및 분할 찾기가 일반적인 모바일 크라우드센싱 설정에 확장 가능한가?

주요 결과

• FedXGB는 원래 XGBoost에 비해 정확도 손실이 1% 미만으로 유지된다.
• SecAgg를 이용한 연합 업데이트는 HE 기반 집계의 런타임을 약 23.9% 줄인다.
• SecAgg를 이용한 연합 업데이트는 통신을 약 33.3% 감소시킨다.
• 보안 집계 설계는 강제 집계를 가능하게 하여 집계 없이 서버가 복호화하는 것을 방지한다.
• 드롭아웃에 대한 내성은 Shamir 비밀 공유를 통해 달성되어 드롭아웃 사용자의 마스크 키를 복구하고 올바른 집계를 가능하게 한다.
• 이 접근법은 XGBoost 학습을 프라이버시를 보호하는 연합 설정으로 확장하고 강력한 보안 보장을 제공한다.