[論文レビュー] Personalized and Private Peer-to-Peer Machine Learning

Aurélien Bellet, Rachid Guerraoui+2 more|arXiv (Cornell University)|May 23, 2017

Privacy-Preserving Technologies in Data参考文献 1被引用数 56

ひとこと要約

論文は、差分プライバシーを備えた多数のエージェント間で個人化モデルを学習する完全分散・非同期の座標降下アルゴリズムを提案し、収束を証明し、プライバシー-有用性のトレードオフを分析し、プライバシー保護された協力が孤立したローカルモデルよりも性能を上回ることを示す。

ABSTRACT

The rise of connected personal devices together with privacy concerns call for machine learning algorithms capable of leveraging the data of a large number of agents to learn personalized models under strong privacy requirements. In this paper, we introduce an efficient algorithm to address the above problem in a fully decentralized (peer-to-peer) and asynchronous fashion, with provable convergence rate. We show how to make the algorithm differentially private to protect against the disclosure of information about the personal datasets, and formally analyze the trade-off between utility and privacy. Our experiments show that our approach dramatically outperforms previous work in the non-private case, and that under privacy constraints, we can significantly improve over models learned in isolation.

研究の動機と目的

• 個人化モデルを学習する動機づけと、プライバシーのためにデータを端末上に保つこと。
• 中央コーディネータなしの完全分散・非同期ネットワークを介して多くのエージェント間の協力を可能にする。
• モデルの類似性に基づいて近傍エージェントを結ぶグラフ正則化型のマルチタスク目的を定式化する。
• 差分プライベートなメカニズムを開発し、得られる有用性の損失を分析する。
• syntheticとreal-worldの実験で、孤立したモデルよりプライバシー保護効果を示す。

提案手法

• グラフ正則化された目的関数をn個のエージェント間で最小化する分散型座標降下アルゴリズムを提案する。
• マルチタスク設定で隣接エージェントのモデルを結ぶラプラシアンベースの滑らかさ項を用いる。
• 隣接情報と局所勾配ステップを組み合わせた各エージェントのブロック更新を導出する。
• 局所勾配/更新にラプラスノイズを加えることで、差分プライベート版へ拡張する。
• 非プライベートの場合の強凸性下で線形収束を示す収束解析を提供する。
• ノイズのスケーリングと予算配分について、プライバシーと有用性のトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 完全に分散・非同期なフレームワークは、純粋なローカル学習を超える個人化モデルの改善をもたらすか。
• RQ2 非同期下で提案する分散座標降下の収束挙動はどうなるか。
• RQ3 差分プライバシーは有用性にどのような影響を与え、プライバシーと精度のバランスを取るためにノイズをどうスケールすべきか。
• RQ4 完全に分散した設定でイテレーションごとのプライバシー予算を配分する効果的な戦略は何か。

主な発見

方法	ユーザーごとのテストRMSE
Purely local models	1.2834
Non-private CD	0.9502
Private εbar=1	0.9527
Private εbar=0.5	0.9545
Private εbar=0.1	0.9855

• 非プライベートな分散座標降下は、目的関数が強凸である場合線形収束を達成する。
• プライバシー保護の拡張は各更新にラプラスノイズを付加し、定量化されたプライバシー予算で差分プライベートのままに保つ。
• プライバシーによる有用性の損失は、非プライベート速度のように減衰する項と、追加ノイズ項の和として分解され、一定のノイズでは有限の上限に収束する。
• プライバシー制約下でも、私的なモデルは精度で純粋にローカルモデルを上回ることがある（例：MovieLens-100Kタスク）。
• 合成データの線形分類問題と実データの実験は、理論と一致するより速い収束とプライバシー-有用性のトレードオフを確認する。