[論文レビュー] Privacy Preserving Stochastic Channel-Based Federated Learning with Neural Network Pruning

Rulin Shao, Hui Liu+1 more|arXiv (Cornell University)|Oct 4, 2019

Privacy-Preserving Technologies in Data参考文献 33被引用数 5

ひとこと要約

本稿では、プライバシーを守るフェデレーテッドラーニングフレームワークとして、スパースなチャネル選択による勾配アップロードとニューラルネットワークの繰り返しプルーニングを組み合わせた、Stochastic Channel-Based Federated Learning with Pruning (SCBFwP) を提案する。この手法は、ローカルモデルから最も活性の高い勾配チャネルのみをサーバーにアップロードすることで、データ漏洩を低減しつつ高い性能を維持する。チャネル単位の勾配選択と繰り返しのニューラルネットワークプルーニングを組み合わせることで、フェデレーテッドアベレージと比較して、情報漏洩量を最大85%削減し、プルーニング後のトレーニング時間を57%高速化する。

ABSTRACT

Artificial neural network has achieved unprecedented success in a wide variety of domains such as classifying, predicting and recognizing objects. This success depends on the availability of big data since the training process requires massive and representative data sets. However, data collection is often prevented by privacy concerns and people want to take control over their sensitive information during both training and using processes. To address this problem, we propose a privacy-preserving method for the distributed system, Stochastic Channel-Based Federated Learning (SCBF), which enables the participants to train a high-performance model cooperatively without sharing their inputs. We design, implement and evaluate a channel-based update algorithm for the central server in a distributed system, which selects the channels with regard to the most active features in a training loop and uploads them as learned information from local datasets. A pruning process is applied to the algorithm based on the validation set, which serves as a model accelerator. In the experiment, our model presents equal performances and higher saturating speed than the Federated Averaging method which reveals all the parameters of local models to the server when updating. We also demonstrate that the converging rates could be increased by introducing a pruning process.

研究の動機と目的

• モデル更新中の勾配値および選択メカニズムの両方から生じるプライバシー漏洩を是正すること。
• モデル性能を損なわず、通信オーバーヘッドと情報漏洩量を低減すること。
• プライバシーを守る環境下で、繰り返しのニューラルネットワークプルーニングを用いてトレーニングの収束速度を向上させること。
• チャネルベースのフェデレーテッドラーニングフレームワークにおいて、プルーニング率、更新頻度、モデル性能のトレードオフを評価すること。

提案手法

• SCBFフレームワークは、各層ごとに勾配の大きさの閾値に基づき、最も活性の高いチャネルのみを選択してアップロードすることで、サーバーに共有されるデータ量を削減する。
• ローカルモデルからの勾配に、チャネル単位のスパース化機構を適用し、高影響度の特徴のみを送信することを保証する。
• グローバルトレーニングループ中に繰り返しニューラルネットワークプルーニングを適用し、モデルサイズと計算コストを低減する。
• プルーニングプロセスはバリデーションセットの性能に従ってガイドされ、各トレーニングループで精度を維持するためにプルーニング率を調整する。
• サーバーは選択されたチャネルのみをアグリゲートし、完全なモデル重みの送信を回避することで、情報露出を制限する。
• スパースなアップロードと選択的チャネル伝送により、微分プライバシーが強化され、モデルの逆方向攻撃のリスクが低減する。

実験結果

リサーチクエスチョン

• RQ1 選択的チャネルベースの勾配アップロードは、モデル性能を維持したまま、フェデレーテッドラーニングにおける情報漏洩量を低減できるか？
• RQ2 繰り返しのニューラルネットワークプルーニングは、プライバシーを守るフェデレーテッド環境下で、収束速度と最終的なモデル精度にどのように影響するか？
• RQ3 トレーニング効率を最大化するために、各ループごとの最適なプルーニング率と総プルーニング率のバランスは何か？
• RQ4 チャネルの更新頻度は、プライバシー保護と計算オーバーヘッドにどのように影響するか？

主な発見

• SCBFwPは、フェデレーテッドアベレージと比較して、情報漏洩量を85%削減し、プライバシーの強化が顕著に示された。
• モデルはより速い飽和速度を達成し、完全なパラメータアップロードを伴うフェデレーテッドアベレージと同等またはより高いAUCROC（0.9769）とAUCPR（0.9663）を達成した。
• プルーニング後、SCBFではトレーニング時間を57%短縮し、フェデレーテッドアベレージでは48%短縮した。SCBFwPはプルーニング後、8,469秒で完了した。
• 各ループごとに固定のプルーニング率を適用したモデルは、固定の総プルーニング率を適用したモデルよりも性能が安定しており、トレーニングダイナミクスの制御がより良好であることが示された。
• 低い更新頻度（例：10%）は、より短いトレーニング時間をもたらし、プライバシーと効率性のトレードオフが示された。
• 各ループごとの最適なプルーニング率は約30–50%であり、47%の総プルーニング率でも性能が安定したまま維持された。