[論文レビュー] Dancing in the dark : private multi-party machine learning in an untrusted setting

Clement Fung|arXiv (Cornell University)|Jan 1, 2018

Privacy-Preserving Technologies in Data参考文献 46被引用数 5

ひとこと要約

本論文では、分散型機械学習システムであるTorMentorを提案する。このシステムは、中央サーバーを信頼せず、微分プライバシーとTorを介した匿名通信を用いて、データソースがグローバルモデルに貢献できるようにする。200人のクライアントと1クライアントあたり14 MBのデータを用いたロジスティック回帰モデルの学習に65秒を要し、プライバシーと精度のトレードオフを調整可能に実現している。

ABSTRACT

The problem of machine learning (ML) over distributed data sources arises in a variety of domains. Unfortunately, today's distributed ML systems use an unsophisticated threat model: data sources must trust a central ML process. We propose a brokered learning abstraction that provides data sources with provable privacy guarantees while allowing them to contribute data towards a globally-learned model in an untrusted setting. We realize this abstraction by building on the state of the art in multi-party distributed ML and differential privacy methods to construct TorMentor, a system that is deployed as a hidden service over an anonymous communication protocol. We define a new threat model by characterizing, developing and evaluating new attacks in the brokered learning setting, along with effective defenses for these attacks. We show that TorMentor effectively protects data sources against known ML attacks while providing them with a tunable trade-off between model accuracy and privacy. We evaluate TorMentor with local and geo-distributed deployments on Azure. In an experiment with 200 clients and 14 megabytes of data per client our prototype trained a logistic regression model using stochastic gradient descent in 65 seconds.

研究の動機と目的

• 既存の分散型機械学習システムには、データソースが中央のモデルトレーナーを信頼しなければならないというプライバシー保証の欠如があることに対処すること。
• 信頼できない環境下でもデータソースに確実なプライバシーを保証する、ブローカーレーニング抽象化の設計。
• ブローカーレーニングの脅威モデルに特化した、新たな攻撃と防御の開発と評価。
• プライベートでスケーラブルかつ効率的なマルチパーティ学習を支援するシステム（TorMentor）の実装と展開。

提案手法

• マルチパーティ分散型機械学習と微分プライバシーを基盤とし、個々のデータを露呈せずにクライントの更新を安全に集約する。
• Torネットワーク上に隠しサービスとしてシステムをデプロイし、データソースおよび学習ブローカーの匿名性を保証する。
• 微分プライバシー機構を統合し、モデル更新に校正されたノイズを注入することで、個々のデータポイントがプライベートであることを保証する。
• ブローカーレーニングにおける現実的な攻撃を捉える、新しい脅威モデルを設計する。これには、モデルの逆方向推定攻撃やメンバー推定攻撃が含まれる。
• 通信オーバーヘッドを最小限に抑えるために、分散クライアント間で効率的なグローバルモデル学習のための確率的勾配降下法（SGD）を用いる。
• ノイズスケールなどのプライバシーパラメータを調整することで、モデルの精度と微分プライバシーの保証の間で、設定可能なトレードオフを提供する。

実験結果

リサーチクエスチョン

• RQ1 中央集約者を信頼しないデータソースがモデルに貢献するブローカーレーニング環境では、どのような新たな脅威が生じるか？
• RQ2 信頼できない環境下で、分散型機械学習システムに微分プライバシーを効果的に統合する方法は何か？
• RQ3 実際の展開において、匿名通信（Tor）とプライベートな機械学習訓練を組み合わせた際の性能オーバーヘッドはどの程度か？
• RQ4 多様なクライアントのデータ分布を考慮しても、強いプライバシー保証を維持しながら、モデルの精度をどのように維持できるか？
• RQ5 数百人のクライアントにまでスケーリング可能でありながら、プライバシーと効率性の両方を学習時間に影響させずに維持できるか？

主な発見

• TorMentorは、200人のクライアントがそれぞれ14 MBのデータを提供する条件下で、65秒でロジスティック回帰モデルを学習し、地理的に分散した環境下でも高い効率性を示した。
• 微分プライバシーを用いた明確なプライバシー保証を提供しており、モデルの精度とプライバシー損失の間で調整可能なトレードオフを実現している。
• 著者らは、ブローカーレーニングモデルに特化した新たな攻撃（モデル更新に対する推定攻撃など）を同定し、効果的な対策を設計した。
• Azure上でのデプロイにより、ローカルおよび分散環境の両方で低遅延と高いスケーラビリティを維持していることが確認された。
• Torと微分プライバシーの統合により、モデルの性能が著しく低下しなかったため、信頼できない環境下でもプライベートなマルチパーティ学習の実現可能性が裏付けられた。