[논문 리뷰] Federated Boosted Decision Trees with Differential Privacy

Samuel Maddock, Graham Cormode외 3명|arXiv (Cornell University)|2022. 10. 06.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 레니 지배적 차별적 프라이버시(Rényi Differential Privacy, RDP)와 경량 보안 집계를 사용하여 피벗형 차별적 프라이버시를 갖춘 기울기 부스팅 결정 트리(GBDT) 프레임워크를 제안한다. 비밀 보장 예산을 잎 가지의 가중치에 전략적으로 할당하고, 반복적 헤시안 분할 후보와 함께 배치 뉴턴 업데이트를 사용함으로써, 비공개 모델과 동일한 성능을 달성하면서도 통신 라운드 수를 5~10회로 줄였다. 성능 손실는 최소한이다.

ABSTRACT

There is great demand for scalable, secure, and efficient privacy-preserving machine learning models that can be trained over distributed data. While deep learning models typically achieve the best results in a centralized non-secure setting, different models can excel when privacy and communication constraints are imposed. Instead, tree-based approaches such as XGBoost have attracted much attention for their high performance and ease of use; in particular, they often achieve state-of-the-art results on tabular data. Consequently, several recent works have focused on translating Gradient Boosted Decision Tree (GBDT) models like XGBoost into federated settings, via cryptographic mechanisms such as Homomorphic Encryption (HE) and Secure Multi-Party Computation (MPC). However, these do not always provide formal privacy guarantees, or consider the full range of hyperparameters and implementation settings. In this work, we implement the GBDT model under Differential Privacy (DP). We propose a general framework that captures and extends existing approaches for differentially private decision trees. Our framework of methods is tailored to the federated setting, and we show that with a careful choice of techniques it is possible to achieve very high utility while maintaining strong levels of privacy.

연구 동기 및 목표

• HE나 MPC와 같은 강력한 암호화 기법에 의존하는 기존 피벗형 GBDT 방법에서 공식적인 프라이버시 보장이 부족한 문제를 해결하기 위해.
• 비공개 GBDT 모델의 높은 성능과 피벗 환경에서의 강력한 프라이버시 간 격차를 메우기 위해.
• 효율적인 통신과 프라이버시 회계를 지원하는 통합적이고 모듈화된 차별적 프라이버시 GBDT 학습 프레임워크를 개발하기 위해.
• 엄격한 프라이버시 예산 하에서 성능을 극대화하기 위해 구성 요소(예: 분할 후보, 업데이트 유형, 배치 처리)의 최적 설정을 규명하기 위해.

제안 방법

• GBDT를 다섯 가지 구성 요소로 분해: 분할 후보 생성, 분할 선택, 잎 가지 가중치 최적화, 프라이버시 예산 할당, 통신 전략.
• 정확한 프라이버시 회계를 위해 레니 지배적 차별적 프라이버시(RDP)를 적용하여 기존 DP보다 더 날카로운 경계를 제공한다.
• 개인 정보 보호 환경에서의 안정성과 성능 향상을 위해 반복적 헤시안(IH) 분할 후보를 사용한다.
• 통신 횟수를 줄이고 노이즈 영향을 완화하기 위해 배치 뉴턴 업데이트를 적용한다.
• 분할 결정이 아닌 잎 가지 가중치에 차별적 프라이버시를 적용한다. 왜냐하면 잎 가지 가중치가 모델 성능에 더 큰 영향을 미치기 때문이다.
• 중요도가 높은 암호화 부담 없이도 프라이버시를 보장하기 위해 보안 집계와 경량 MPC를 결합한다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시 하에서 노이즈에 가장 민감한 GBDT 학습 파이프라인의 구성 요소는 무엇이며, 프라이버시 예산은 어떻게 할당되어야 하는가?
• RQ2 적은 통신 획수로도 비공개 모델과 유사한 성능을 달성할 수 있는 비공개 GBDT 모델이 피벗 환경에서 가능할까?
• RQ3 다양한 분할 후보 방법(예: 무작위, 히스토그램, 반복적 헤시안)이 DP 하에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 차별적 프라이버시 GBDT 학습에서 뉴턴 업데이트와 기울기 또는 평균 업데이트의 차이는 무엇인가?
• RQ5 모델 업데이트의 배치 처리가 성능 손실 없이 통신 비용을 줄일 수 있는가?

주요 결과

• 반복적 헤시안(IH) 분할 후보와 $p=0.25$로 설정된 배치 뉴턴 업데이트를 사용한 제안된 방법은 여섯 개의 데이터셋에서 모두 최신 기술(SOTA) 기준보다 뛰어난 성능을 보이며, 특히 높은 프라이버시($\epsilon = 0.1$) 조건에서 두각을 나타낸다.
• B=20 또는 B=50로 업데이트를 배치 처리하면 통신 라운드 수가 5~10회로 줄어들며, 전체 부스팅 대비 최대 0.04 AUC 손실만 발생한다.
• 분할 결정이 아닌 잎 가지 가중치에 주로 프라이버시 예산을 할당할 경우, 예측 정확도에 더 큰 영향을 미치므로 모델 성능이 크게 향상된다.
• 단지 10회의 통신 라운드만으로도 비공개 기준 모델과 AUC 차이가 0.01 이내로 유지되어 강력한 성능-프라이버시 트레이드오프를 입증한다.
• 배치 처리($p=0.25$)를 적용한 DP-TR 뉴턴 IH EBM은 평균 순위 기준으로 모든 데이터셋에서 최고 성능을 기록했으며, $10T$ 라운드를 학습하는 DP-EBM조차도 앞선다.
• 전체 부스팅 대비 통신 비용을 최대 95%까지 줄였고, 성능 손실는 극히 미미하여 실세계 피벗 배포에 실용적이다.