[論文レビュー] OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization

Xiaochen Li, Yuke Hu+6 more|arXiv (Cornell University)|Oct 4, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

OpBoost は、距離に基づく局所微分プライバシー（dLDP）の下で順序を保つ脱識別化を適用することで、プライバシーと精度を向上させる垂直フェデレーテッドツリー・ブースティングフレームワークである。順序を保つ脱識別化に基づく3つの最適化された dLDP アルゴリズム（Global-map、Local-map、Adj-map）を導入し、相対的特徴順序を保持しながらユーティリティ損失を最小限に抑え、従来の LDP に基づく手法と比較してはるかに高いモデル精度を達成するとともに、計算および通信のオーバーヘッドを低く抑える。

ABSTRACT

Vertical Federated Learning (FL) is a new paradigm that enables users with non-overlapping attributes of the same data samples to jointly train a model without directly sharing the raw data. Nevertheless, recent works show that it's still not sufficient to prevent privacy leakage from the training process or the trained model. This paper focuses on studying the privacy-preserving tree boosting algorithms under the vertical FL. The existing solutions based on cryptography involve heavy computation and communication overhead and are vulnerable to inference attacks. Although the solution based on Local Differential Privacy (LDP) addresses the above problems, it leads to the low accuracy of the trained model. This paper explores to improve the accuracy of the widely deployed tree boosting algorithms satisfying differential privacy under vertical FL. Specifically, we introduce a framework called OpBoost. Three order-preserving desensitization algorithms satisfying a variant of LDP called distance-based LDP (dLDP) are designed to desensitize the training data. In particular, we optimize the dLDP definition and study efficient sampling distributions to further improve the accuracy and efficiency of the proposed algorithms. The proposed algorithms provide a trade-off between the privacy of pairs with large distance and the utility of desensitized values. Comprehensive evaluations show that OpBoost has a better performance on prediction accuracy of trained models compared with existing LDP approaches on reasonable settings. Our code is open source.

研究の動機と目的

• 垂直フェデレーテッドツリー・ブースティングにおけるプライバシー漏洩、特にモデル学習中の特徴値の順序付けに関する漏洩を是正すること。
• 距離にかかわらずすべての値ペアを同等に扱う従来の局所微分プライバシー（LDP）メカニズムが引き起こす精度の低下を是正すること。
• 相対的順序情報の保持を可能にすることで、より良いモデルのユーティリティを実現するとともに、強力なプライバシー保証を確保する dLDP ベースのフレームワークを設計すること。
• ツリー・ブースティングのシナリオにおいて、効率性と精度を向上させるために dLDP の定義とサンプリング分布を最適化すること。
• 実世界の垂直 FL デプロイメントにおいて、プライバシー、精度、パフォーマンスのバランスを取れる実用的でオープンソースのフレームワークを提供すること。

提案手法

• 順序データに特化した新しい dLDP の変種を導入し、値ペアの距離に応じて異なる不確実性レベルを許容する。
• 3つの順序を保つ脱識別化アルゴリズム（Global-map、Local-map、Adj-map）を設計し、プライバシーとユーティリティのトレードオフに応じてパラメータを調整可能にした。
• 特に距離の遠い値ペアに対してはプライバシーを維持しつつノイズを低減するように dLDP の定義を最適化する。
• 標準のラプラスノイズと比較して計算オーバーヘッドを低減するため、有界離散ラプラス分布をサンプリングメカニズムとして採用する。
• ドメイン固有の特徴分布とプライバシー予算に適応できるように、柔軟なパrameterチューニング（α と θ）を実装する。
• 脱識別化パイプラインを垂直フェデレーテッド GBDT 学習フレームワークに統合し、強いプライバシー制約下でもモデル性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 dLDP は、垂直フェデレーテッドラーニングにおけるツリー・ブースティングの文脈で、特徴値の順序構造を効果的に保持できるか？
• RQ2 dLDP は、垂直 FL における強いプライバシー保証を維持しつつ、ユーティリティ損失を低減するためにどのように最適化できるか？
• RQ3 異なる脱識別化戦略（Global-map、Local-map、Adj-map）が、垂直フェデレーテッドツリー・ブースティングにおけるモデル精度と効率性に与える影響は何か？
• RQ4 パラメータの選択（α、θ、ε）が、提案フレームワークにおけるプライバシーとモデルユーティリティのトレードオフにどのように影響するか？
• RQ5 提案フレームワークは、従来の LDP に基づくおよび暗号技術に基づく垂直フェデレーテッドツリー・ブースティング手法と比較して、より高い精度を達成できるか？

主な発見

• OpBoost は、特に低プライバシー予算（例：ε < 1）の下で、従来の LDP に基づく手法と比較して顕著に高い予測精度を達成する。
• プライバシー要件が中程度の状況では、Local-map アルゴリズムが他の脱識別化手法と比較して、モデルのユーティリティにおいて一貫して優れている。
• ドメイン知識が利用可能で、パラメータ α と θ が適切にチューニングされている場合には、Adj-map アルゴリズムが Global-map よりも高い精度を実現する。
• 有界離散ラプラス分布を用いることで、標準のラプラスサンプリングと比較して計算オーバーヘッドを低減し、プライバシーを損なわず効率性を向上させる。
• フレームワークは、計算および通信コストが低く抑えられており、HE や MPC に基づくアプローチと比較して効率性に優れている。
• 実験結果から、α > 1 がほとんどの実用的状況で十分であり、α = 10 に設定してもさらなる向上が得られないことが示され、最適なパラメータ範囲が特定された。