[논문 리뷰] Privacy-Preserving XGBoost Inference

Xianrui Meng, Joan Feigenbaum|arXiv (Cornell University)|2020. 11. 09.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 10

한 줄 요약

이 논문은 클라이언트가 원격 머신러닝 서비스에 암호화된 쿼리를 제출하고 암호화된 예측 결과를 수신할 수 있도록 해주는 XGBoost 모델을 위한 프라이버시 보장 추론 프로토콜인 PPXGBoost를 제안한다. 이 방법은 암호화된 입력을 기반으로 트리 기반 예측을 안전하게 평가하기 위해 덧셈 가환 암호화와 순서 유지 암호화를 사용하며, 실험 결과를 통해 AWS SageMaker와 같은 실세계 생산 환경에서의 실용성도 입증한다.

ABSTRACT

Although machine learning (ML) is widely used for predictive tasks, there are important scenarios in which ML cannot be used or at least cannot achieve its full potential. A major barrier to adoption is the sensitive nature of predictive queries. Individual users may lack sufficiently rich datasets to train accurate models locally but also be unwilling to send sensitive queries to commercial services that vend such models. One central goal of privacy-preserving machine learning (PPML) is to enable users to submit encrypted queries to a remote ML service, receive encrypted results, and decrypt them locally. We aim at developing practical solutions for real-world privacy-preserving ML inference problems. In this paper, we propose a privacy-preserving XGBoost prediction algorithm, which we have implemented and evaluated empirically on AWS SageMaker. Experimental results indicate that our algorithm is efficient enough to be used in real ML production environments.

연구 동기 및 목표

• 민감한 데이터와 모델이 보호되어야 하는 실세계 시스템에 프라이버시 보장 머신러닝을 구현하는 데 도전하는 것.
• 서비스 제공자에게 입력 쿼리, 모델 파라미터, 예측 결과를 폭 드러내지 않고도 XGBoost 모델에서 안전하고 암호화된 추론을 가능하게 하는 것.
• 강력한 프라이버시 보장을 유지하면서도 실생산 환경에 적합한 계산 효율성을 확보하는 실용적인 솔루션을 설계하는 것.
• 정의된 泄露 모델 하에서 프로토콜의 보안 성질을 체계화하고 증명하여 오직 최소한의 정보만 노출됨을 보장하는 것.

제안 방법

• 프로토콜은 XGBoost 모델의 개별 결정 트리에서의 점수 합을 안전하게 평가하기 위해 덧셈 가환 암호화(SHE) 체계를 사용한다.
• 특성 값과 분할 임계값을 암호화된 형태로 비교하기 위해 순서 유지 암호화(OPE)를 사용하여 복호화 없이도 안전한 트리 탐색을 가능하게 한다.
• 모델는 설정 단계에서 사전 처리되어 모든 트리 노드와 분할 임계값이 암호화되며, 오직 구조적 메타데이터(예: 트리 깊이, 노드 순서)만 泄露된다.
• 추론 과정에서 클라이언트는 입력 특성을 암호화하고 서버에 전송하며, 서버는 암호화된 트리 경로를 평가하고 암호화된 예측 결과를 반환한다.
• 단지 트리 수, 트리 깊이, 노드 순서, 쿼리 패턴만 泄露되는 것으로 보여주기 위해 시뮬레이터를 구성하여 보안을 증명한다.
• 계산 전반에 걸쳐 평문 쿼리, 결과, 모델 값이 모두 기밀로 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 XGBoost 모델에 대해 효율적이고 안전한 트리 기반 모델 평가를 지원하는 프라이버시 보장 추론 프로토콜을 구축할 수 있는가?
• RQ2 이러한 프로토콜에서 피할 수 없는 최소한의 정보 泄露는 무엇이며, 이를 체계적으로 특성화할 수 있는가?
• RQ3 이 프로토콜는 AWS SageMaker와 같은 실세계 생산 환경에서 실용적으로 실행 가능한 정도로 효율적으로 구현될 수 있는가?
• RQ4 기초가 되는 가환 암호화 및 순서 유지 암호화 체계의 보안 보장이 추론 과정의 전체 프라이버시에 어떻게 기여하는가?

주요 결과

• PPXGBoost 프로토콜은 오직 구조적 메타데이터와 쿼리 패턴만 泄露하는 것으로 성공적으로 XGBoost 모델에 대해 안전하고 암호화된 추론을 가능하게 한다.
• 프로토콜는 실용적인 성능을 달성하였으며, 실험적 평가를 통해 AWS SageMaker와 같은 실세계 배포 환경에서의 실현 가능성을 입증하였다.
• 보안은 泄露 내성 모델 하에서 체계적으로 증명되었으며, 쿼리 값, 모델 파라미터, 예측 출력과 같은 추가 정보가 노출되지 않음을 보였다.
• 덧셈 가환 암호화와 순서 유지 암호화의 사용은 민감한 데이터를 드러내지 않은 채 안전한 트리 탐색과 점수 집계를 가능하게 한다.
• 표준 XGBoost 추론 패턴을 사용하여 분류 및 회귀 작업을 모두 지원하며, 최소한의 성능 오버헤드를 유발한다.