[논문 리뷰] A Hybrid-Domain Framework for Secure Gradient Tree Boosting.

Wenjing Fang, Chaochao Chen외 7명|arXiv (Cornell University)|2020. 05. 18.

Cryptography and Data Security참고 문헌 33인용 수 17

한 줄 요약

이 논문은 수직 분할된 데이터에서 안전하고 프라이버시를 보장하는 XGBoost 학습을 가능하게 하는 히브리드 도메인 프레임워크를 제안한다. 히브리드 도메인 프레임워크는 동일한 히브리드 도메인 프레임워크를 사용하여 Homomorphic Encryption (HE)와 Secret Sharing (SS)를 결합한다. 두 방향으로 HE와 SS 도메인 간의 변환을 가능하게 하여 효율성과 유연성을 향상시키며, 유출이 적은 안전한 기울기 트리 부스팅을 달성하고, 벤치마크 및 실세계 데이터셋에서 성능이 검증되었다.

ABSTRACT

Gradient tree boosting (e.g. XGB) is one of the most widely usedmachine learning models in practice. How to build a secure XGB inface of data isolation problem becomes a hot research topic. However, existing works tend to leak intermediate information and thusraise potential privacy risk. In this paper, we propose a novel framework for two parties to build secure XGB with vertically partitioneddata. Specifically, we associate Homomorphic Encryption (HE) domain with Secret Sharing (SS) domain by providing the two-waytransformation primitives. The framework generally promotes theefficiency for privacy preserving machine learning and offers theflexibility to implement other machine learning models. Then weelaborate two secure XGB training algorithms as well as a corresponding prediction algorithm under the hybrid security domains.Next, we compare our proposed two training algorithms throughboth complexity analysis and experiments. Finally, we verify themodel performance on benchmark dataset and further apply ourwork to a real-world scenario.

연구 동기 및 목표

• 기존 방법에서 중간 정보 유출로 인한 프라이버시 리스크를 해결하기 위해.
• 데이터 공유 없이 수직 분할된 데이터에서 양자간 안전한 학습을 가능하게 하기 위해.
• Homomorphic Encryption (HE)와 Secret Sharing (SS)를 결합한 히브리드 보안 도메인 프레임워크를 설계하여 효율성과 유연성을 향상시키기 위해.
• 히브리드 도메인 모델 하에서 두 가지 안전한 XGB 학습 알고리즘과 해당 예측 프로토콜을 개발하기 위해.
• 프레임워크의 성능을 벤치마크 데이터셋과 실세계 응용 시나리오에서 평가하기 위해.

제안 방법

• 히브리드 계산을 가능하게 하기 위해 Homomorphic Encryption (HE) 도메인과 Secret Sharing (SS) 도메인 간의 양방향 변환 원리를 도입하기 위해.
• 히브리드 HE-SS 프레임워크를 사용하여 중간 데이터 노출를 최소화하는 두 가지 안전한 XGBoost 학습 알고리즘을 설계하기 위해.
• 암호화된 데이터에 대한 추론을 위한 암호화된 데이터 기반의 안전한 예측 알고리즘을 구축하기 위해.
• HE는 동형 연산에 강점을 가지며, SS는 선형 연산에 효율적이므로, 보안과 성능의 균형을 이루기 위해 두 기법을 조합하기 위해.
• 학습 중 기울기, 특성 값, 모델 파라미터의 노출를 방지하여 프라이버시를 확보하기 위해.
• 비용이 많이 드는 동형 연산을 최소화하고, 시크릿 공유 연산을 최대한으로 활용하여 효율성 향상을 도모하기 위해.

실험 결과

연구 질문

• RQ1 히브리드 HE-SS 프레임워크는 수직 분할된 데이터에서 안전한 XGBoost 학습 시 프라이버시 누출을 어떻게 줄일 수 있는가?
• RQ2 히브리드 도메인 모델 하에서 다양한 안전한 XGBoost 학습 알고리즘 간의 성능 상충 관계는 어떠한가?
• RQ3 제안된 프레임워크는 실세계 환경에서 강력한 프라이버시 보장을 유지하면서도 모델 정확도를 유지할 수 있는가?
• RQ4 HE와 SS 도메인 간의 양방향 변환은 프라이버시 보장 기반 머신러닝의 효율성을 어떻게 향상시키는가?
• RQ5 실세계 데이터셋에 대해 실용적인 성능을 확보하면서, 이 프레임워크는 얼마나 확장 가능한가?

주요 결과

• 히브리드 HE-SS 프레임워크는 이전 방법에 비해 중간 정보 유출이 현저히 감소한 안전한 XGBoost 학습을 가능하게 한다.
• 전략적으로 HE와 SS 연산을 조합함으로써 계산 효율성이 향상된 프레임워크를 구현하였다.
• 두 학습 알고리즘이 벤치마크 데이터셋에서 유사한 모델 성능을 보였으며, 실사용에서 한 가지 알고리즘이 더 높은 효율성을 보였다.
• Adult 및 Covertype와 같은 표준 벤치마크 데이터셋에서 검증된 결과, 프레임워크는 높은 모델 정확도를 유지한다.
• 실세계 시나리오에 성공적으로 적용되어 실용성과 강건성을 입증하였다.
• HE와 SS 도메인 간의 양방향 변환은 프라이버시 보장 기반 머신러닝 프로토콜의 탄력적이고 효율적인 구현을 가능하게 한다.