[論文レビュー] Privacy-Preserving Training of Tree Ensembles over Continuous Data

Samuel S. Adams, Chaitali Choudhary+6 more|arXiv (Cornell University)|Jun 5, 2021

Cryptography and Data Security参考文献 42被引用数 5

ひとこと要約

この論文は、安全なマルチパーティ計算（MPC）を用いて連続データ上でツリー集合の訓練を行うプライバシー保護プロトコルを提案する。2つの参加者が互いの生データを露呈させずに協働して決定木を訓練できるようにし、秘密分散と同型暗号を活用して最小値・最大値と分割意思決定を安全に計算することで、証明可能な情報漏洩防止保証を備えた効率的でプライベートなモデル訓練を実現する。

ABSTRACT

Most existing Secure Multi-Party Computation (MPC) protocols for privacy-preserving training of decision trees over distributed data assume that the features are categorical. In real-life applications, features are often numerical. The standard ``in the clear'' algorithm to grow decision trees on data with continuous values requires sorting of training examples for each feature in the quest for an optimal cut-point in the range of feature values in each node. Sorting is an expensive operation in MPC, hence finding secure protocols that avoid such an expensive step is a relevant problem in privacy-preserving machine learning. In this paper we propose three more efficient alternatives for secure training of decision tree based models on data with continuous features, namely: (1) secure discretization of the data, followed by secure training of a decision tree over the discretized data; (2) secure discretization of the data, followed by secure training of a random forest over the discretized data; and (3) secure training of extremely randomized trees (``extra-trees'') on the original data. Approaches (2) and (3) both involve randomizing feature choices. In addition, in approach (3) cut-points are chosen randomly as well, thereby alleviating the need to sort or to discretize the data up front. We implemented all proposed solutions in the semi-honest setting with additive secret sharing based MPC. In addition to mathematically proving that all proposed approaches are correct and secure, we experimentally evaluated and compared them in terms of classification accuracy and runtime. We privately train tree ensembles over data sets with 1000s of instances or features in a few minutes, with accuracies that are at par with those obtained in the clear. This makes our solution orders of magnitude more efficient than the existing approaches, which are based on oblivious sorting.

研究の動機と目的

• 機密性の高い入力値を露呈させずに、連続データ上でツリー集合の安全な協働訓練を可能にすること。
• 特に信頼できない複数の参加者が関与する環境において、決定木の訓練中にデータプライバシーを保護する課題に対処すること。
• 秘密分散と同型暗号を用いて、最小値・最大値と分割条件を安全に計算する効率的なプロトコルを設計すること。
• 大規模データに対して計算効率を維持しつつ、両方の参加者が相手の生データを学習しないように保証すること。
• 分散環境におけるプライバシー保護機械学習に対して、証明可能な安全かつ通信効率の良いソリューションを提供すること。

提案手法

• データ値を秘密分散で表現することで、単一の参加者が生入力を特定できないように保証する。
• 2参加者間のプロトコルを用いて「以上」比較チェックを安全に実行することで、データポイント全体の最小値・最大値を計算する。
• 各新しいデータポイントに対して、比較結果に基づく条件付き更新を用いて、現在の最小値・最大値を安全に更新する。
• 比較結果を後続計算に使用可能な秘密共有値に変換する関数π₂toQをプロトコルで採用する。
• 比較（例：≥）を暗号化されたデータ上で評価できる同型暗号プリミティブを活用し、プロセス全体を通してプライバシーを保持する。
• アルゴリズムは繰り返し各データポイントを処理し、進行中の最小値・最大値の秘密共有表現を維持する。

実験結果

リサーチクエスチョン

• RQ1 2つの参加者が個々の入力を露呈させずに連続データの最小値・最大値を安全に計算する方法は何か？
• RQ2 共有データ上で決定木の分割点を効率的かつプライバシー保護的に特定する方法は何か？
• RQ3 安全なマルチパーティ計算を用いて連続特徴上でツリー集合を訓練可能であり、通信および計算のオーバーヘッドを最小限に抑えることができるか？
• RQ4 分散環境において安全な比較と条件付き更新を可能にする暗号技術は何か？
• RQ5 モデル訓練中に、参加者が相手のデータについて必要以上に情報を得ないよう、プロトコルはどのように保証するか？

主な発見

• 秘密分散と安全な比較プロトコルを用いることで、連続データ上でツリー集合の安全な協働訓練が可能である。
• 繰り返しの安全な更新により最小値・最大値の計算を効率化し、高コストな暗号操作の必要を減らす。
• π₂toQとπ_GEQの使用により、比較結果が正しく秘密共有形式に符号化され、後続処理に適した形で保持される。
• どの段階でも、参加者が相手の生データを学習しないように保証することで、プライバシーが維持される。
• アルゴリズムの反復的かつモジュラーな設計のおかげで、通信効率が高く、大規模データに適していることが実証された。
• 標準的な安全なマルチパーティ計算の仮定の下で、証明可能な安全保証が得られる。