[論文レビュー] P4L: Privacy Preserving Peer-to-Peer Learning for Infrastructureless Setups

Ioannis Arapakis, Panagiotis Papadopoulos+2 more|arXiv (Cornell University)|Feb 26, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

P4Lは、中央集権的なサーバーや微分プライバシーに依存せずに、同型暗号を用いて勾配の機密性と有用性を保ちながら、モバイルデバイスが協同して機械学習モデルをトレーニングできる完全に分散型でインfra構築不要のピアツーピア学習システムを提案する。このシステムは、3mAh未満のバッテリー消費増加という最小限のパフォーマンスオーバーヘッドを達成し、汚染攻撃に対して耐性を示し、多様なデバイス設定においてスケーラブルである。

ABSTRACT

Distributed (or Federated) learning enables users to train machine learning models on their very own devices, while they share only the gradients of their models usually in a differentially private way (utility loss). Although such a strategy provides better privacy guarantees than the traditional centralized approach, it requires users to blindly trust a centralized infrastructure that may also become a bottleneck with the increasing number of users. In this paper, we design and implement P4L: a privacy preserving peer-to-peer learning system for users to participate in an asynchronous, collaborative learning scheme without requiring any sort of infrastructure or relying on differential privacy. Our design uses strong cryptographic primitives to preserve both the confidentiality and utility of the shared gradients, a set of peer-to-peer mechanisms for fault tolerance and user churn, proximity and cross device communications. Extensive simulations under different network settings and ML scenarios for three real-life datasets show that P4L provides competitive performance to baselines, while it is resilient to different poisoning attacks. We implement P4L and experimental results show that the performance overhead and power consumption is minimal (less than 3mAh of discharge).

研究の動機と目的

• 中央集権的なフェデレーテッドラーニングのプライバシーとスケーラビリティの制限を解消する。これは、単一の信頼できるサーバーに依存しており、ボトルネックおよび故障の原因となる。
• 分散型学習システムにおいてブロックチェーン、IPFS、公開鍵基盤などの外部インフラに依存しないようにする。
• 微分プライバシーによる有用性の損失を避けるために、強力な暗号基盤を用いて共有されるモデル勾配の機密性と有用性を両立させる。
• インfra構築不要で近接性に基づくモバイルおよびIoT環境において、耐障害性・スケーラビリティ・効率性に優れた協同学習を実現する。
• 暗号的手法による勾配保護を通じて、悪意あるピアからの情報漏洩攻撃を防ぎ、ユーザーのプライバシーを確保する。

提案手法

• P4Lは部分的同型暗号（Paillier暗号方式）を用い、ピアが暗号化された勾配を復号せずとも同型的に集約できるようにする。これにより、プライバシーとモデルの有用性の両方が保持される。
• システムは、パックド暗号文をサポートするカスタムRustベースのHEライブラリを実装し、モデル勾配における効率的なベクトル化された同型演算を可能にする。
• AndroidのNearby Connections APIを活用して、近隣のデバイスを発見・通信可能にし、インfra構築不要で近接性に基づくピアツーピア通信を実現する。
• モデル更新は近隣のピア間で非同期で共有され、各デバイスはローカルトレーニングを実行し、プライベートな勾配集約に参加する。
• 暗号文はgzipを用いて圧縮され、通信オーバーヘッドを低減し、リソース制限のあるデバイスでのパフォーマンスを向上させる。
• システムは、信頼できないピアが存在する分散型で非共謀的なピアモデルを採用しており、暗号技術によって脱匿名化や汚染攻撃を防止する。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型でインfra構築不要なピアツーピア学習システムは、微分プライバシーに依存せず、中央集権的なフェデレーテッドラーニングと同等のモデルパフォーマンスを達成できるか？
• RQ2 同型暗号の使用が、モバイルデバイスにおける協同的モデルトレーニングのパフォーマンスおよび電力消費にどのように影響を与えるか？
• RQ3 分散型で信頼できないピア環境において、P4Lはどの程度の汚染攻撃に対して耐性を示せるか？
• RQ4 実世界のモバイルデバイス上でのP4L運用における実際のパフォーマンスオーバーヘッド（特にバッテリー消費増加と遅延）はどの程度か？
• RQ5 ユーザーの離脱や動的ネットワーク状態が生じる中でも、P4Lはスケーラビリティと耐障害性を維持できるか？

主な発見

• P4Lは、敵対的状況下でも中央集権的なフェデレーテッドラーニングのベースラインと同等のモデルパフォーマンスを達成し、モデルの有用性に劣化がない。
• システムは最小限のパフォーマンスオーバーヘッドを示し、運用中に3mAh未満のバッテリー消費増加にとどまるため、モバイルデバイスにおける実用的導入が可能である。
• 1回のシナジーにおけるエンドツーエンド遅延は、すべてのテストデバイスで4秒未満であり、送信されるモデルパラメータ数に比例して線形にスケーリングされる。
• CPU使用率は、共有されるパラメータ数に比例して線形に増加するが、現代のスマートフォンにおけるバックグラウンド動作の許容範囲内に保たれる。
• P4Lは、一部のピアが悪意を持っていても、グローバルモデルの正確性を維持する強力な耐性を示す。
• 低スペックおよび高スペックのスマートフォンを含む、さまざまなハードウェア構成のデバイス間でも、P4Lは効果的にスケーリング可能であり、実用的妥当性が確認された。