[論文レビュー] Privacy-Preserving Tree-Based Inference with TFHE

Jordan Fréry, Andrei Stoian+5 more|arXiv (Cornell University)|Feb 13, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、TFHE完全準同型暗号方式を用いて、木ベースの機械学習モデルのプライバシー保護型推論フレームワークを提示する。最適化された整数表現とプログラマブルブートストラップを活用することで、明データ推論とほぼ同一の精度を達成しつつ、競争力ある遅延性能を実現し、暗号化されたデータ上で意思決定木、ランダムフォレスト、勾配ブースティング木の安全なデプロイを可能にする。

ABSTRACT

Privacy enhancing technologies (PETs) have been proposed as a way to protect the privacy of data while still allowing for data analysis. In this work, we focus on Fully Homomorphic Encryption (FHE), a powerful tool that allows for arbitrary computations to be performed on encrypted data. FHE has received lots of attention in the past few years and has reached realistic execution times and correctness. More precisely, we explain in this paper how we apply FHE to tree-based models and get state-of-the-art solutions over encrypted tabular data. We show that our method is applicable to a wide range of tree-based models, including decision trees, random forests, and gradient boosted trees, and has been implemented within the Concrete-ML library, which is open-source at https://github.com/zama-ai/concrete-ml. With a selected set of use-cases, we demonstrate that our FHE version is very close to the unprotected version in terms of accuracy.

研究の動機と目的

• 機密性の高い入力を露呈せずに、暗号化されたデータ上で木ベースのモデルの推論を安全に実行すること。
• 既存のFHEベースの木推論手法における高い遅延と精度損失の課題を解決すること。
• 単一の意思決定木およびアンサンブルモデル（ランダムフォレスト、XGBoost）を、精度の低下を最小限に抑えてサポートすること。
• 精度、速度、誤差耐性の最適なトレードオフを実現するための暗号システムパラメータ選定を自動化すること。
• FHEベースの推論が、明データ実行と1%以内の精度差に抑えられつつ、実世界でのデプロイに実用的であることを実証すること。

提案手法

• 本手法は、TFHEのプログラマブルブートストラップ（PBS）を用いて、非線形の意思決定関数（例：比較演算）を同型的に評価し、暗号化されたデータ上で正しい木の走査を可能にする。
• メッセージ空間のサイズを制御し、同型演算中のノイズ増加を低減するために、特徴量を量子化された整数として表現する。
• 複数の木のノードにわたる暗号化された値の蓄積を可能とするために、FHE方式のパrameterizationにより段階的同型計算を実現する。
• モデル構造と所望の誤差耐性に基づき、最適なFHEパラメータ（例：セキュリティレベル、精度）を決定する自動最適化パイプラインを構築する。
• 本アプローチは、意思決定木、ランダムフォレスト、勾配ブースティング木を対象とした分類および回帰タスクをカバーする。
• 実装はオープンソースのConcrete-MLライブラリに統合され、エンドツーエンドのプライバシー保護型推論を可能にする。

Figure 1: TFHE operations representing algorithm 2 . The $\Sigma$ nodes represent leveled accumulation and $T[x]$ nodes represent table look-up operations implemented with PBS

実験結果

リサーチクエスチョン

• RQ1 TFHEベースの同型暗号が、暗号化された表形式データ上で木ベースのモデルの正確かつ効率的な推論を可能にするか？
• RQ2 プログラマブルブートストラップの使用が、FHEにおける非線形意思決定関数の評価可能性をどのように向上させるか？
• RQ3 プライバシー保護型推論において、量子化精度、FHE実行遅延、およびモデル精度のトレードオフはどのようなものか？
• RQ4 本手法が、明データ実行と同等の推論精度を達成しつつ、強力なセキュリティ保証を維持できるか？
• RQ5 PBSの誤差確率の選択が、実世界のデプロイにおける性能と正しさにどのように影響を与えるか？

主な発見

• FHEベースの推論は、adult、wine、steel、心疾患の各データセットを含め、すべてのテストデータセットで明データ推論と1%以内の精度差に抑えられた。
• FHE推論の遅延は、wdbcで1.18秒からheart-hで81.94秒の範囲にあり、FP32モデルと比較して中央値で約10,000倍の高速化が達成された。
• PBS誤差確率を0.05に設定することで、遅延が最大8倍短縮されつつもモデル精度が保持された。これは生産環境での実用的トレードオフを示している。
• ワインデータセットではランダムフォレストで98.5%の精度を達成し、明データモデルの98.1%と同等の性能を示した。
• スチールデータセットでは、FHE-XGBoostが100%の精度を達成し、FP32ベースラインと同一の性能を示した。遅延は8.78秒であった。
• 自動パラメータ選定プロセスにより、各モデルに対して最適なFHEパラメータ設定が可能になり、手動チューニングの最小化が実現された。

Figure 2: Experiment reporting the f1-score and average precision with varying precision on the spambase dataset.