[논문 리뷰] An Efficient and Robust System for Vertically Federated Random Forest

Houpu Yao, Jiazhou Wang외 3명|arXiv (Cornell University)|2022. 01. 26.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 최신 기술인 SecureBoost보다 최대 83배 빠른 학습과 25배 빠른 추론을 달성하면서도 데이터 기밀성을 유지하는 효율적이고 견고한 수직 분산 랜덤 포레스트 시스템을 제안한다. 이는 최적화된 동형 암호화, 안전한 다자간 계산, 그리고 병렬화된 트리 학습 기법을 활용한 것이다. 시스템은 실시간 추론을 가능하게 하며, 수백만 건의 데이터에까지 확장 가능하며 높은 파artition 내성(분할에 대한 내성)을 유지하면서도 정확도는 유사하게 유지한다.

ABSTRACT

As there is a growing interest in utilizing data across multiple resources to build better machine learning models, many vertically federated learning algorithms have been proposed to preserve the data privacy of the participating organizations. However, the efficiency of existing vertically federated learning algorithms remains to be a big problem, especially when applied to large-scale real-world datasets. In this paper, we present a fast, accurate, scalable and yet robust system for vertically federated random forest. With extensive optimization, we achieved $5 imes$ and $83 imes$ speed up over the SOTA SecureBoost model \cite{cheng2019secureboost} for training and serving tasks. Moreover, the proposed system can achieve similar accuracy but with favorable scalability and partition tolerance. Our code has been made public to facilitate the development of the community and the protection of user data privacy.

연구 동기 및 목표

• 기존 수직 분산 학습 시스템의 학습 및 추론 효율성 문제를 해결함으로써, 특히 대규모 실세계 데이터셋에서의 성능 향상을 도모한다.
• SecureBoost와 같은 최신 기술 대비 빠른 속도와 확장성 향상을 달성하면서도 높은 정확도를 유지하는 시스템을 설계한다.
• 금융 및 헬스케어와 같은 기밀성이 중요한 애플리케이션에서의 생산 수준 배포를 위해 강력한 내성과 분할에 대한 내성을 확보한다.
• 통신, 계산 및 시스템 아키텍처 최적화를 통해 저지연 추론을 실현함으로써 실시간 추론을 가능하게 한다.
• 공개적으로 이용할 수 있고 생산 환경에서 사용 가능한 시스템을 제공하여, 다수의 당사자 간 데이터 기밀성 보장과 효율적인 모델 학습을 지원한다.

제안 방법

• 이 시스템은 원시 특성 데이터를 폭 드러내지 않은 채로 다수의 당사자 간에 분산된 의사결정 트리 학습을 가능하게 하는 새로운 연합 랜덤 포레스트 알고리즘을 적용한다.
• 특성 값의 교차 당사자 계산 중 기밀성을 보장하기 위해 맞춤형 동형 암호화 체계를 통합한다.
• 트리 구축 과정에서 정보 이득과 분할 포인트를 안전하게 계산하기 위해 안전한 다자간 계산(MPC)을 사용하여 누출을 최소화한다.
• 최적화된 통신 프로토콜을 통해 당사자 간 데이터 전송을 최소화함으로써 지연 시간을 감소시키며, 특히 특성 집계 및 분할 선택 시에 유의미한 개선을 이룬다.
• 개별 트리를 분리하는 분산 아키텍처를 사용하여 추가 기계를 통해 수평 확장이 가능하며, 고처리량 추론을 위한 배치 처리를 지원한다.
• 4단계 최적화 파이프라인(O1–O4)을 적용한다: RIAC를 통한 안전한 집계, 분할 계산을 위한 MPC, 최적화된 통신, 추론 가속을 위한 스트리밍/배치 처리.

실험 결과

연구 질문

• RQ1 기존의 최신 기술인 SecureBoost와 비교해 유사한 정확도를 유지하면서도 훨씬 더 빠른 학습 및 추론을 달성할 수 있는 수직 분산 랜덤 포레스트 시스템은 가능한가?
• RQ2 동형 암호화와 MPC를 어떻게 효율적으로 조합하여 성능에 손상이 가지 않으면서도 안전하고 확장 가능한 트리 학습을 가능하게 할 수 있는가?
• RQ3 통신 감소, 병렬 처리, 배치 처리와 같은 시스템 수준 최적화가 연합 학습에서 실시간 추론 성능 향상에 얼마나 기여하는가?
• RQ4 수백만 건의 데이터와 높은 쿼리 부하를 가진 생산 규모의 배포 환경에서 제안된 시스템이 강건성과 분할에 대한 내성을 유지할 수 있는가?
• RQ5 개별 최적화 기법들(예: RIAC, MPC, 통신 튜닝 등)이 학습 및 서비스 전반의 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 시스템은 FK 데이터셋에서 최신 기술인 SecureBoost 대비 최대 83배 빠른 학습 속도를 달성했으며, 학습 시간을 300분 이상에서 60분으로 단축시켰다.
• 최적화된 스트리밍을 통해 추론 지연 시간을 10초(기존 SecureBoost 기준)에서 0.12초로 감소시켜 생산 워크로드에 적합한 실시간 추론을 가능하게 했다.
• 100개의 쿼리를 배치 처리할 경우, 단일 머신당 1개의 파티에서 1초당 3,000개의 쿼리 처리 속도(QPS)를 달성하여 강력한 수평 확장성을 입증했다.
• 중앙 집중식 모델 및 SecureBoost와 유사한 정확도를 유지하며, FK 데이터셋에서는 AUC 점수 0.66, epsilon 데이터셋에서는 0.79를 기록했으며 수렴이 이루어진 영역에선 최신 기술을 충족하거나 초월했다.
• 제거 실험 결과, 모든 최적화(O1–O4)를 조합한 경우 FK 데이터셋의 학습 시간이 35시간에서 단 1시간으로 단축되었으며, 기준 대비 35배의 속도 향상을 달성했다.
• 이 시스템은 이미 생산 환경에 배포되어 수억 건의 추론 호출을 실패 없이 처리했으며, 실제 응용 분야에서의 강건성과 확장성을 입증했다.