[論文レビュー] The Tradeoff Between Privacy and Accuracy in Anomaly Detection Using Federated XGBoost

Mengwei Yang, Linqi Song+3 more|arXiv (Cornell University)|Jul 16, 2019

Privacy-Preserving Technologies in Data参考文献 28被引用数 23

ひとこと要約

本稿では、データ集約とスパースなフェデレーテッドアップデートを通じてプライバシーと精度のバランスを図る水平フェデレーテッドXGBoostフレームワークを提案する。ユーザーのデータを仮想サンプルにグループ化し、誤分類されたインスタンスに焦点を当てたアップデートを実施することで、最先端の手法よりも最大5%高いF1スコアと3.4%高いAUCを達成した。プライバシー（クラスターサイズによる）とパフォーマンスの間の調整可能なトレードオフが可能である。

ABSTRACT

Privacy has raised considerable concerns recently, especially with the advent of information explosion and numerous data mining techniques to explore the information inside large volumes of data. In this context, a new distributed learning paradigm termed federated learning becomes prominent recently to tackle the privacy issues in distributed learning, where only learning models will be transmitted from the distributed nodes to servers without revealing users' own data and hence protecting the privacy of users. In this paper, we propose a horizontal federated XGBoost algorithm to solve the federated anomaly detection problem, where the anomaly detection aims to identify abnormalities from extremely unbalanced datasets and can be considered as a special classification problem. Our proposed federated XGBoost algorithm incorporates data aggregation and sparse federated update processes to balance the tradeoff between privacy and learning performance. In particular, we introduce the virtual data sample by aggregating a group of users' data together at a single distributed node. We compute parameters based on these virtual data samples in the local nodes and aggregate the learning model in the central server. In the learning model upgrading process, we focus more on the wrongly classified data before in the virtual sample and hence to generate sparse learning model parameters. By carefully controlling the size of these groups of samples, we can achieve a tradeoff between privacy and learning performance. Our experimental results show the effectiveness of our proposed scheme by comparing with existing state-of-the-arts.

研究の動機と目的

• 機密性の高い非対称なデータセットを用いた分散型異常検出におけるプライバシーリスクに対処すること。
• ユーザーのデータプライバシーを保ちながら高い検出精度を維持するフェデレーテッドラーニングフレームワークを設計すること。
• フェデレーテッドXGBoostにおけるデータプライバシー（データクラスタリングによる）とモデルパフォーマンスのトレードオフを調査すること。
• 誤分類されたサンプルに焦点を当てたスパースなモデルアップデートを通じて、学習効率を向上させ、通信コストを削減すること。
• 本手法の有効性を、特に非対称データ設定において顕著な実世界の不正検出タスクにおいて実証すること。

提案手法

• データ集約により、修正Kアナニマスティを適用してユーザーのデータをグループ化し、仮想データサンプルを生成することで、プライバシーを保ちつつスプリットゲインの計算を可能にする。
• フレームワークは仮想サンプルからの集約された特徴シーケンスを用いてスプリットゲインを計算し、ユーザーの生データを直接送信することを回避する。
• データ集約の後にフェデレーテッドモデルアップデートを実施する二段階プロセスにより、個々のデータを露呈させることなくプライバシー保護型のトレーニングが可能になる。
• 誤分類されたインスタンスからの勾配を優先することでスパースなフェデレーテッドアップデートを適用し、通信量を削減するとともに収束を改善する。
• 仮想サンプルからの勾配を集約して中央でモデルパラメータを更新することで、ノード間でのモデルの一貫性を維持する。
• 仮想データ集約におけるクラスターサイズを調整することで、プライバシー（大きなクラスタ）と精度（小さなクラスタ）のトレードオフを制御できる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド異常検出において、モデルの精度を損なわせることなく、ユーザーのデータプライバシーをどのように保護できるか？
• RQ2 仮想データクラスタリングのサイズが、プライバシーと検出パフォーマンスのトレードオフに与える影響は何か？
• RQ3 誤分類されたサンプルに焦点を当てたスパースなフェデレーテッドアップデートは、学習効率とモデル精度を向上させられるか？
• RQ4 提案されたフェデレーテッドXGBoostフレームワークは、非対称データセットにおける既存の最先端手法と比較してどのように差をつけるか？
• RQ5 二段階のデータ集約とモデルアップデートプロセスは、モデルパフォーマンスを維持しつつ、どれほどプライバシーを強化できるか？

主な発見

• 提案されたフェデレーテッドXGBoostフレームワークは、元のデータ次元でF1スコア0.9014を達成し、GBDTやランダムフォレストと比較して最大5%高いF1スコアを記録した。
• 仮想クラスターサイズを405に縮小した場合、F1スコアは0.8951に低下し、プライバシーと精度の間の明確なトレードオフが確認された。
• 更新後のフェデレーテッドXGBoostモデルのAUCは、元の次元で0.9748に達し、ベースライン比で3.4%の改善を示した。
• AUPRCの結果は、トレーニングセットおよびテストセットの両方で一貫した改善を示し、より高い精度と再現率が得られた。
• フェデレーテッドXGBoostフレームワークのトレーニングロスは、GBDTよりも速やかに減少し、収束が早いことが示された。
• すべての設定において、モデルは高い精度（0.9997）を維持していたが、非対称データセットにおける性能評価において、精度だけでは不十分であることが確認された。