[論文レビュー] A Scalable Approach for Privacy-Preserving Collaborative Machine Learning

Jinhyun So, Başak Güler+1 more|arXiv (Cornell University)|Nov 3, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用数 25

ひとこと要約

本稿では、符号理論を用いてデータセットを秘密分散し、多数の参加者間で計算を分散する完全に分散型のプライバシー保護型共同線形回帰フレームワークであるCOPMLを提案する。この手法は、計算能力が無制限の共謀攻撃者に対しても情報理論的プライバシーを提供しながら、MPCベースライン比最大16.4倍の高速化を達成する。

ABSTRACT

We consider a collaborative learning scenario in which multiple data-owners wish to jointly train a logistic regression model, while keeping their individual datasets private from the other parties. We propose COPML, a fully-decentralized training framework that achieves scalability and privacy-protection simultaneously. The key idea of COPML is to securely encode the individual datasets to distribute the computation load effectively across many parties and to perform the training computations as well as the model updates in a distributed manner on the securely encoded data. We provide the privacy analysis of COPML and prove its convergence. Furthermore, we experimentally demonstrate that COPML can achieve significant speedup in training over the benchmark protocols. Our protocol provides strong statistical privacy guarantees against colluding parties (adversaries) with unbounded computational power, while achieving up to $16 imes$ speedup in the training time against the benchmark protocols.

研究の動機と目的

• 複数のデータ所有者が、互いの個々のデータセットを他の参加者に漏らさずに共同で線形回帰モデルを訓練できるようにすること。
• 3〜4人を超える参加者へのスケーリングが困難である従来のMPCベースの手法の限界を克服すること。
• 強力なプライバシー保証を維持したまま、安全なマルチパーティ計算における学習時間と通信オーバーヘッドを低減すること。
• 計算能力が無制限の共謀攻撃者に対しても情報理論的プライバシーを提供すること。
• 参加者数に応じてスケーラブルな、効率的で分散型の学習を可能にすること。

提案手法

• 参加者がシャミアの秘密分散を用いて個々のデータセットを秘密分散させ、分散計算を可能にする。
• フレームワークは符号理論の原則を用いてデータセットを符号化形式に変換し、符号化されたデータ上で安全に勾配計算を実行できるようにする。
• 訓練は符号化されたデータ上で分散勾配降下法を用いて行われ、符号化されていないデータと同一の計算構造を維持する。
• 多項式演算とMPCに適した近似法（例：シグモイド関数の近似）を活用し、非線形性を安全かつスケーラブルに扱う。
• 計算負荷はN人の参加者に分散され、各クライアントが総計算量の一部を処理するため、クライアントごとの計算時間が短縮される。
• 追加の参加者を加えることで、共謀耐性Tを向上させたり、クライアントごとの負荷を低減させたりするバランスを取れる。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型のフレームワークは、4人を超える参加者に対して、情報理論的プライバシーを維持したままスケーリング可能か？
• RQ2 符号理論の統合が、安全な機械学習におけるスケーラビリティをどのように向上させ、通信および計算オーバーヘッドを低減するか？
• RQ3 既存のMPCベースのベンチマークと比較して、このフレームワークは学習時間にどの程度の高速化を達成できるか？
• RQ4 プライバシー（共謀耐性T）と並列化（クライアントごとの計算負荷）のトレードオフが、システムのパフォーマンスに与える影響はどの程度か？
• RQ5 強力なプライバシー保証を維持しながら、従来の線形回帰と同等のモデル精度を維持できるか？

主な発見

• COPMLは、CIFAR-10およびGISETTEデータセットにおいて、最先端のMPCベースプロトコルと比較して最大16.4倍の学習時間の高速化を達成する。
• フレームワークは、従来の線形回帰と同等のモデル精度を維持しており、プライバシー保護型学習が予測性能を損なわないことを示している。
• 秘密分散と符号理論の活用により、計算能力が無制限の共謀攻撃者に対しても情報理論的プライバシーが保証される。
• 参加者数Nが増加するにつれて、クライアントごとの計算負荷はO(md²/N)のオーダーで減少し、並列処理による顕著な利点が得られる。
• 符号化コストはO(mdN)のオーダーで増加し、小規模なデータセットではこれが支配的になり、低データ環境におけるスケーラビリティに制限が生じる。
• データセットのサイズに応じて効果的にスケーリングされ、次第に次元数が増加するにつれて負荷の分散が改善され、より高い高速化が達成される。