[論文レビュー] Privacy-Preserving Distributed Learning with Secret Gradient Descent.

Valentin Hartmann, Robert West|arXiv (Cornell University)|Jun 27, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用数 6

ひとこと要約

本論文は、クライアントが自身の生データを露呈せずに共同で機械学習モデルを訓練できるプライバシー保護型分散学習手法であるSecret Gradient Descent (SecGD)を提案する。安全なメッセージ共有とTorのような匿名化ネットワークを通じたルーティングにより、一時的なノイズを追加・後で除去することで、悪意あるサーバーですら勾配を個々のクライアントに紐付けることができず、サブセット和問題の計算困難性に依存した計算的プライバシーを達成する。これは、2人の誠実なクライアントのみが存在する条件下でも成立する。

ABSTRACT

In many important application domains of machine learning, data is a privacy-sensitive resource. In addition, due to the growing complexity of the models, single actors typically do not have sufficient data to train a model on their own. Motivated by these challenges, we propose Secret Gradient Descent (SecGD), a method for training machine learning models on data that is spread over different clients while preserving the privacy of the training data. We achieve this by letting each client add temporary noise to the information they send to the server during the training process. They also share this noise in separate messages with the server, which can then subtract it from the previously received values. By routing all data through an anonymization network such as Tor, we prevent the server from knowing which messages originate from the same client, which in turn allows us to show that breaking a client's privacy is computationally intractable as it would require solving a hard instance of the subset sum problem. This setup allows SecGD to work in the presence of only two honest clients and a malicious server, and without the need for peer-to-peer connections.

研究の動機と目的

• 中央集権的なデータ収集なしに、分散型でプライバシーに配慮したデータ上で機械学習モデルを訓練する課題に対処すること。
• 2人のクライアントのみが誠実で、サーバーが悪意を持つ可能性がある環境においても安全なモデル学習を可能にすること。
• 暗号的ノイズと匿名化された通信を用いて、サーバーが勾配を特定のクライアントに紐付けるのを防ぐこと。
• ピアツーピア接続を必要とせず、強固なプライバシー保証を維持すること。

提案手法

• 各クライアントは、サーバーに送信する前に勾配に一時的なノイズを追加する。
• クライアントは別々にノイズ値をサーバーに送信し、これによりサーバーが受信した勾配からノイズを再構成・差し引くことができる。
• すべての通信は、メッセージの発信元を隠すために、Torのような匿名化ネットワークを経由する。
• システムは、サブセット和問題の計算的に困難な性質に依存して、プライバシー侵害を防ぐ。
• サーバーはノイズが除去された勾配を用いて標準的な勾配降下法を実行するが、クライアントは生データを一切露呈しない。
• 悪意あるサーバーが存在する状況でも、クライアントのデータを再識別する確率は計算的に無視できるほど小さいことを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散クライアント間で共同して機械学習モデルを訓練しつつ、個々の学習データのプライバシーを保持することは可能か？
• RQ2 2人の誠実なクライアントと悪意あるサーバーの条件下でも、強力なプライバシー保証を達成することは可能か？
• RQ3 ピアツーピア通信を要件とせず、サーバーが勾配を特定のクライアントに紐付けるのを防ぐことは可能か？
• RQ4 ノイズの隠蔽と匿名化ルーティングの使用により、計算的に安全なシステムを構築できるか？
• RQ5 プロトコルの安全性を、サブセット和問題のようなよく知られた難問に還元できるか？

主な発見

• サブセット和問題が計算的に困難であるという仮定の下で、クライアントデータの情報理論的プライバシーが達成される。
• 悪意あるサーバーが存在する状況でも、基盤となる問題の暗号的困難性のおかげで、クライアントのデータを再識別する確率は無視できるほど小さい。
• 2人の誠実なクライアントでのみ動作するため、実世界への導入に実用的である。
• Torによる匿名化により、サーバーが同じクライアントからのメッセージを関連付けるのを防ぎ、推論攻撃に対する耐性が向上する。
• ピアツーピア接続を必要としないため、制限された環境での導入が容易になる。
• ノイズは勾配更新の前に除去されるため、標準的な分散学習と同等のモデル精度を維持する。