[論文レビュー] Crowd-ML: A Privacy-Preserving Learning Framework for a Crowd of Smart Devices

Jihun Hamm, Adam C. Champion+3 more|arXiv (Cornell University)|Jan 11, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 1被引用数 13

ひとこと要約

Crowd-ML は、微分プライバシーに基づく確率的勾配降下法を用いて、スマートデバイスの集団が共同で分類器を学習できる、プライバシー保護型で分散型の機械学習フレームワークである。勾配に対するローカルノイズ注入と指数的メカニズムを用いることで、計算オーバーヘッドを最小限に抑えつつ、実機のスマートフォンおよびシミュレーテッド環境でもスケーラブルなパフォーマンスを達成する強力なプライバシー保証を実現する。

ABSTRACT

Smart devices with built-in sensors, computational capabilities, and network connectivity have become increasingly pervasive. The crowds of smart devices offer opportunities to collectively sense and perform computing tasks in an unprecedented scale. This paper presents Crowd-ML, a privacy-preserving machine learning framework for a crowd of smart devices, which can solve a wide range of learning problems for crowdsensing data with differential privacy guarantees. Crowd-ML endows a crowdsensing system with an ability to learn classifiers or predictors online from crowdsensing data privately with minimal computational overheads on devices and servers, suitable for a practical and large-scale employment of the framework. We analyze the performance and the scalability of Crowd-ML, and implement the system with off-the-shelf smartphones as a proof of concept. We demonstrate the advantages of Crowd-ML with real and simulated experiments under various conditions.

研究の動機と目的

• 既存のコローシングシステムにおける形式的なプライバシー保証の欠如に応えるために、微分プライバシーを学習パイプラインに統合する。
• 生のセンサデータを送信せずに、分散型スマートデバイスからスケーラブルでリアルタイムの学習を可能にする。
• 大規模な展開を可能にするために、デバイスおよびサーバーの計算および通信オーバーヘッドを最小限に抑える。
• 最適化されたノイズ注入メカニズムにより、強いプライバシー制約（ε-微分プライバシー）下でも高いモデル精度を維持する。
• 市販のスマートフォンと実世界のデータセット（例：CIFAR-10 および MNIST）を用いて、実用的妥当性を実証する。

提案手法

• 分散型インクリメンタル最適化を、確率的（部分）勾配降下法（SGD）の変種を用いて、分散型の方法で分類器を学習する。
• 各デバイスで勾配更新にラプラスノイズを適用することで、ローカルレベルでの ε-微分プライバシーを確保する。
• 誤差率やクラス事前確率などの補助的情報を最小限の学習パフォーマンス低下で摂動させるために、指数的メカニズムを採用する。
• プライバシー予算を勾配（εg）、誤差推定（εe）、クラス事前確率推定（εyk）に分割し、ε ≈ εg となるように設計する（εe および εyk が小さいため）。
• ローカル計算に依存する：デバイスは自らのデータから勾配を計算し、生のデータやラベルではなく、ノイズを含む勾配のみをサーバーに送信する。
• サーバーではノイズを含む勾配を集約してグローバルモデルを更新し、生のデータやラベルの送信を回避する。

Figure 1: Crowd-ML consists of a server and a number of smart devices. The system integrates sensing, learning, and privacy mechanisms together, to learn a classifier or predictor from device-generated data in an online and distributed way, with formal privacy guarantees.

実験結果

リサーチクエスチョン

• RQ1 生のデータ送信なしに、コローシングシステムにおけるユーザーのプライバシーを保護する分散型学習フレームワークを設計可能か？
• RQ2 分散型 SGD フレームワークに微分プライバシーを統合した場合、学習パフォーマンスおよびスケーラビリティにどのような影響を与えるか？
• RQ3 実機のスマートフォンを用いた実世界の展開において、プライバシー（ε）とモデル精度のトレードオフはどのようなものか？
• RQ4 通信遅延および変動するミニバッチサイズが、システムの収束性および耐障害性に与える影響は？
• RQ5 低リソースのモバイルデバイスでも、効率的に動作しながら強力なプライバシー保証を維持できるか？

主な発見

• Crowd-ML は、勾配にラプラスノイズを適用し、補助統計に指数的メカニズムを適用することで ε-微分プライバシーを達成する。ε ≈ εg となるのは、誤差および事前確率推定への寄与が無視できるためである。
• 本フレームワークは、実機のスマートフォンでもスケーラブルなパフォーマンスを示し、計算オーバーヘッドが最小限で通信コストも低い。
• 手書き数字認識タスク（MNIST）において、ε⁻¹ = 0.1 の条件下でテスト誤差が約 0.1 に達し、非プライベートな集中型学習と同等の性能を示す。
• より複雑な CIFAR-10 オブジェクト認識タスクでは、同じプライバシー予算下でテスト誤差が約 0.3 に上昇するが、これはデータセットの難易度の高さを反映している。
• 通信遅延や変動するミニバッチサイズ下でも、安定した収束を示し、プライバシー保護メカニズムがモデルの有用性を維持している。
• 実験により、ミニバッチ数が増加するにつれて、誤差率およびクラス事前確率推定値が真値にほとんど確実に収束することが示された。これは、平均がゼロで分散が有界なノイズの性質による。

Figure 2: Crowd-ML workflow. 1. A device preprocesses sensory data and generates a sample(s). 2. When the number of samples $\{(x,y)\}$ exceeds a certain number, the device requests current model parameters $w$ from the server. 3. The server authenticate the device and sends $w$ . 4. Using $w$ and $