[論文レビュー] Local Differential Privacy based Federated Learning for Internet of Things

Yang Zhao, Jun Zhao+6 more|arXiv (Cornell University)|Apr 19, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用数 38

ひとこと要約

本論文はIoVクラウドソーシングにおいて局所差分プライバシーとフェデレーテッドラーニングを統合し、勾配を撹乱する新しいLDPメカニズムを提案し、プライバシーを維持しつつ通信コストを削減するLDP-FedSGDアルゴリズムでモデルを訓練する。

ABSTRACT

Internet of Vehicles (IoV) is a promising branch of the Internet of Things. IoV simulates a large variety of crowdsourcing applications such as Waze, Uber, and Amazon Mechanical Turk, etc. Users of these applications report the real-time traffic information to the cloud server which trains a machine learning model based on traffic information reported by users for intelligent traffic management. However, crowdsourcing application owners can easily infer users' location information, which raises severe location privacy concerns of the users. In addition, as the number of vehicles increases, the frequent communication between vehicles and the cloud server incurs unexpected amount of communication cost. To avoid the privacy threat and reduce the communication cost, in this paper, we propose to integrate federated learning and local differential privacy (LDP) to facilitate the crowdsourcing applications to achieve the machine learning model. Specifically, we propose four LDP mechanisms to perturb gradients generated by vehicles. The Three-Outputs mechanism is proposed which introduces three different output possibilities to deliver a high accuracy when the privacy budget is small. The output possibilities of Three-Outputs can be encoded with two bits to reduce the communication cost. Besides, to maximize the performance when the privacy budget is large, an optimal piecewise mechanism (PM-OPT) is proposed. We further propose a suboptimal mechanism (PM-SUB) with a simple formula and comparable utility to PM-OPT. Then, we build a novel hybrid mechanism by combining Three-Outputs and PM-SUB.

研究の動機と目的

• IoVクラウドソーシングアプリケーションにおけるプライバシー懸念を喚起し、プライバシーを保護する協調学習の必要性。
• 勾配レベルで局所差分プライバシーを用いてユーザデータを保護するFLフレームワークを開発する。
• プライバシーとモデル有用性および通信効率のバランスを取る新規LDPメカニズムとLDP-FedSGDアルゴリズムを提案する。

提案手法

• 勾配を撹乱して所定のプライバシ予算を制御する数値データ用の4つの局所DPメカニズムを提案する（Three-Outputs、PM-OPT、PM-SUB、HM-TP）。
• 車両が局所勾配を計算しLDPメカニズムを適用し、クラウドサーバーがノイズ入り勾配を集約してグローバルモデルを更新するLDP-FedSGDアルゴリズムを導入する。
• エンコードを容易にし通信コストを削減するために連続出力を離散化する。
• 分散撹乱設定における正直だが好奇心旺盛なアグリゲータを想定したULDPを正当化するため、撹乱配置とプライバシー粒度を比較する。
• 既存のLDPメカニズムに対する有用性向上の理論的および実証的評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 IoVのフェデレーテッドラーニングに局所差分プライバシーを効果的に組み込み、機微なユーザー情報を保護するにはどうすればよいか？
• RQ2 勾配撹乱における最適なプライバシー-有用性のトレードオフを提供するLDPメカニズムはどれか？
• RQ3 ハイブリッドLDPメカニズムはIoTフェデレーテッドラーニングにおいて異なるプライバシ予算間で性能を向上させ得るか？
• RQ4 LDPメカニズムの連続出力を離散化することで、通信コストを削減しつつ有用性を維持できるか？

主な発見

• Three-Outputsはε > ln 2(≈0.69)の場合にDuchiを上回る；大きなε範囲ではPM-SUBはPMおよびDuchiを上回る；ハイブリッドHM-TPは最悪ケースの分散をさらに低減できる。
• PM-SUBはPM-OPTと同等またはそれ以上の有用性を、より単純な式で提供する。
• 離散化後処理は有用性を維持しつつ通信コストを低減する。
• 実世界データと合成データでの実験結果は、LDP-FedSGDの下で平均頻度推定と経験的リスク最小化タスクの精度を改善する。
• 提案されたメカニズムは、広いε値の範囲で既存のLDPメカニズムより高い有用性を達成する。