[논문 리뷰] Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning

Yuya Jeremy Ong, Yi Zhou외 2명|arXiv (Cornell University)|2020. 12. 11.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 13

한 줄 요약

이 논문은 암호화 없이 파티-적응형 히스토GRAM 집계를 사용하는 새로운 분산 학습 방법인 Party-Adaptive XGBoost(PAX)를 제안한다. PAX는 비대칭 데이터 분포에서 기존의 보안 기반 기준보다 모델 정확도가 뛰어나고 최대 24배 빠른 학습 속도를 달성하여 기업용 분산 학습 환경에서 XGBoost의 실용성을 높인다.

ABSTRACT

Federated Learning (FL) is an approach to collaboratively train a model across multiple parties without sharing data between parties or an aggregator. It is used both in the consumer domain to protect personal data as well as in enterprise settings, where dealing with data domicile regulation and the pragmatics of data silos are the main drivers. While gradient boosted tree implementations such as XGBoost have been very successful for many use cases, its federated learning adaptations tend to be very slow due to using cryptographic and privacy methods and have not experienced widespread use. We propose the Party-Adaptive XGBoost (PAX) for federated learning, a novel implementation of gradient boosting which utilizes a party adaptive histogram aggregation method, without the need for data encryption. It constructs a surrogate representation of the data distribution for finding splits of the decision tree. Our experimental results demonstrate strong model performance, especially on non-IID distributions, and significantly faster training run-time across different data sets than existing federated implementations. This approach makes the use of gradient boosted trees practical in enterprise federated learning.

연구 동기 및 목표

• 기업 환경에서 기존 분산 기반 기울기 부스팅 방법의 낮은 성능과 높은 학습 지연 문제를 해결하기 위해.
• 중요한 암호화 보호 기반 없이도 효율적이고 프라이버시를 보장하는 XGBoost 모델의 분산 학습을 가능하게 하기 위해.
• 분산 학습 환경에서 흔한 데이터 분포 불균형과 비독립 동일 분포(non-IID) 특성을 극복하기 위해.
• 기존의 보안 부스팅 프레임워크인 Homo SecureBoost와 같은 높은 계산 오버헤드를 유발하는 방법들에 대한 확장 가능하고 강력한 대안을 개발하기 위해.
• 히스토그램 기반 집계 방식을 각 파티에 맞게 적응적으로 조정하여 분산 트리 모델의 모델 정확도와 학습 속도를 향상시킬 수 있는지 입증하기 위해.

제안 방법

• PAX는 의사결정 트리의 분할 결정을 위한 국지적 데이터 분포의 대체 표현을 구성하기 위해 파티-적응형 히스토그램 집계를 사용한다.
• 각 파티는 자체 데이터 분포에 기반한 국소 히스토그램을 계산하고 이를 집계자에게 전송하며, 원시 데이터의 이동을 방지한다.
• 집계자는 데이터 불균형을 고려한 가중치 기반 융합 전략을 사용하여 이러한 히스토그램을 통합한다.
• 데이터 특성과 국소 샘플 크기에 따라 각 파티의 히스토그램 해상도와 버킷 분할을 동적으로 적응한다.
• 손실 함수(예: 로그 손실, MSE)에 최적화된 기울기 부스팅 프레임워크를 사용해 집계된 히스토그램 표현 기반으로 분할을 선택한다.
• 종단 간 암호화를 회피함으로써 통신 및 계산 오버헤드를 감소시키면서도 모델의 유용성을 유지한다.

실험 결과

연구 질문

• RQ1 기존의 보안 기반 부스팅 방법보다 정확도와 학습 속도에서 뛰어난 성능을 내는 분산 XGBoost 프레임워크를 설계할 수 있는가?
• RQ2 기업용 분산 학습 환경에서 흔한 극단적인 데이터 비독립 동일 분포(non-IID) 조건 하에서 모델 성능은 어떠한가?
• RQ3 암호화 없이도 파티-적응형 히스토그램 집계가 데이터 불균형을 효과적으로 다루고 통신 오버헤드를 줄일 수 있는가?
• RQ4 암호화 보호 기반 없이 모델 성능이 기존 보안 기반 기준 대비 떨어지는가?
• RQ5 한 파티가 다른 파티보다 훨씬 많은 데이터를 보유할 경우에도 모델이 강건성을 유지할 수 있는가?

주요 결과

• PAX는 무작위 분할 조건에서 항공사 데이터셋에서 88%의 정확도를 달성했고, 극심한 불균형 조건(Partition 5)에서는 91%의 정확도를 기록하여 Homo SecureBoost와 로지스틱 회귀 모델을 모두 초월했다.
• 균형 잡힌 항공사 데이터셋에서 PAX는 49초 만에 학습을 완료했고, Homo SecureBoost는 1177초가 소요되어 최대 24배의 속도 향상을 기록했다.
• 한 파티가 데이터의 1%만 보유하고 있는 조건에서도 PAX는 높은 성능을 유지하여 데이터 불균형에 대한 강건성을 입증했다.
• 비독립 동일 분포 시나리오를 포함한 모든 데이터 분할 방식에서 PAX는 Homo SecureBoost와 로지스틱 회귀 모델을 모두 초월했다.
• 암호화 오버헤드가 제거되어 학습 속도가 크게 향상되었고, 모델 정확도는 유지되거나 향상되었다.
• PAX의 적응형 히스토그램 메커니즘이 중심 집중식 데이터 조율에 의존도를 낮추고 통신 과정에서의 개인 정보 泄露를 최소화했다.