[論文レビュー] Privacy-Preserving XGBoost Inference

Xianrui Meng, Joan Feigenbaum|arXiv (Cornell University)|Nov 9, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 10

ひとこと要約

本論文は、XGBoostモデルのプライバシー保護型推論プロトコルであるPPXGBoostを提案する。この手法により、クライアントはリモートなMLサービスに暗号化されたクエリを送信し、暗号化された予測結果を受け取ることができる。データプライバシーが保持される。本手法は加法的同型暗号と順序を保つ暗号を用い、木構造の予測を安全に評価し、実験結果によりAWS SageMakerのような実世界の生産環境でも実用的であることが示された。

ABSTRACT

Although machine learning (ML) is widely used for predictive tasks, there are important scenarios in which ML cannot be used or at least cannot achieve its full potential. A major barrier to adoption is the sensitive nature of predictive queries. Individual users may lack sufficiently rich datasets to train accurate models locally but also be unwilling to send sensitive queries to commercial services that vend such models. One central goal of privacy-preserving machine learning (PPML) is to enable users to submit encrypted queries to a remote ML service, receive encrypted results, and decrypt them locally. We aim at developing practical solutions for real-world privacy-preserving ML inference problems. In this paper, we propose a privacy-preserving XGBoost prediction algorithm, which we have implemented and evaluated empirically on AWS SageMaker. Experimental results indicate that our algorithm is efficient enough to be used in real ML production environments.

研究の動機と目的

• 機密データとモデルを保護する必要がある実世界のシステムに、プライバシー保護型機械学習を導入する課題に対処すること。
• サービスプロバイダーが入力クエリ、モデルパラメータ、予測結果を露出しないまま、XGBoostモデルに対する安全な暗号化推論を可能にすること。
• 強力なプライバシー保証と、生産環境に適した計算効率の両立を図る実用的ソリューションを設計すること。
• 定義された漏洩モデルの下でプロトコルのセキュリティ特性を形式的に定式化・証明し、最小限の情報しか漏洩しないことを保証すること。

提案手法

• プロトコルは、XGBoostモデルに含まれる個々の決定木からのスコアの合計を安全に評価するために、加法的同型暗号（SHE）方式を用いる。
• 特徴量の値を分割閾値と比較する処理には、順序を保つ暗号（OPE）を用い、復号化せずに安全に木の走査を可能にする。
• モデルはセットアップ段階で事前に処理され、すべての木のノードと分割閾値が暗号化される。漏洩されるのは構造的メタデータ（例：木の深さ、ノードの順序）のみである。
• 推論段階では、クライアントが入力特徴量を暗号化してサーバーに送信し、サーバーは暗号化された木のパスを評価して暗号化された予測結果を返す。
• シミュレータを構築することで、漏洩される情報は木の数、木の深さ、ノードの順序、クエリパターンの4つに限定されることを証明する。
• プロトコルは、平文のクエリ、出力結果、モデル値が計算中を通じて機密性を保つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 XGBoost向けに、木構造モデルの効率的かつ安全な評価を可能にするプライバシー保護型推論プロトコルを構築できるか？
• RQ2 このようなプロトコルにおいて避けられない最小限の情報漏洩は何か、そしてそれが形式的に特徴づけられるか？
• RQ3 このプロトコルは、AWS SageMakerのような実世界の生産環境でも実用的に実装可能か？
• RQ4 下位レベルの同型暗号および順序を保つ暗号のセキュリティ保証が、推論プロセス全体のプライバシーにどのように寄与するか？

主な発見

• PPXGBoostプロトコルは、構造的メタデータとクエリパターンのみが漏洩する範囲で、XGBoostモデルに対する安全で暗号化された推論を実現した。
• プロトコルは実用的な性能を達成しており、実験的評価によりAWS SageMakerのような実世界のデプロイ環境でも実現可能であることが示された。
• 漏洩耐性モデルの下でセキュリティが形式的に証明されており、クエリ値、モデルパラメータ、予測出力といった追加情報が露出されないことが示された。
• 加法的同型暗号と順序を保つ暗号の活用により、機密データを露呈せずに安全な木の走査とスコア集計が可能となった。
• 標準的なXGBoost推論パターンを用いて分類および回帰タスクを両方サポートし、最小限の性能オーバーヘッドで実現された。