[論文レビュー] ADMM Based Privacy-preserving Decentralized Optimization

Chunlei Zhang, Muaz Ahmad+1 more|arXiv (Cornell University)|Jul 13, 2017

Stochastic Gradient Optimization Techniques参考文献 49被引用数 4

ひとこと要約

本稿は、部分的同型暗号を用いたADMMに基づく、新たなプライバシー保護分散最適化フレームワークを提案する。このフレームワークにより、集約者を必要としない安全な分散最適化が可能となり、盗聴者や隣接エージェントからの機微なエージェント状態の漏洩を防止する。時間変動するペナルティ行列を用いたADMMの変種を導入し、O(1/t)の収束速度を達成するとともに、プライバシー保護を実現する。

ABSTRACT

Privacy preservation is addressed for decentralized optimization, where $N$ agents cooperatively minimize the sum of $N$ convex functions private to these individual agents. In most existing decentralized optimization approaches, participating agents exchange and disclose states explicitly, which may not be desirable when the states contain sensitive information of individual agents. The problem is more acute when adversaries exist which try to steal information from other participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on ADMM and partially homomorphic cryptography. To our knowledge, this is the first time that cryptographic techniques are incorporated in a fully decentralized setting to enable privacy preservation in decentralized optimization in the absence of any third party or aggregator. To facilitate the incorporation of encryption in a fully decentralized manner, we introduce a new ADMM which allows time-varying penalty matrices and rigorously prove that it has a convergence rate of $O(1/t)$. Numerical and experimental results confirm the effectiveness and low computational complexity of the proposed approach.

研究の動機と目的

• エージェントが機微な状態を明示的に交換する分散最適化におけるプライバシー漏洩を解消すること。
• 第三者の集約者を必要としない完全に分散化された環境において、エンド・ツー・エンドのプライバシー保護を実現すること。
• 特に部分的同型暗号を含む暗号技術を、分散ADMMフレームワークに統合すること。
• 収束性と計算効率を維持しつつ、強力なプライバシー保証を確保すること。
• 時間変動するペナルティ行列を備えた新しいADMM変種を開発し、プライバシー保護計算を可能とすること。

提案手法

• 時間変動するペナルティ行列を備えた修正されたADMMアルゴリズムを導入し、分散ネットワークにおける安全な計算を可能にする。
• エージェントの状態がメッセージ交換中に漏洩しないように、部分的同型暗号を用いて保護する。これにより、盗聴者は機微なデータを推測できない。
• 各エージェントがローカル変数を暗号化して送信する分散暗号スキームを設計し、平文が露出しないようにする。
• やや弱い条件下でも、提案されたADMM変種の収束を証明し、元の問題の最適解に収束することを示す。
• リャプノフ型関数を用いた解析により、双対変数および原始変数の更新を分析し、理論的収束速度O(1/t)を確立する。
• 時間変動するペナルティ行列と同型暗号の構造を組み込んだ、新規のリャプノフ関数を用いて収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 中央集約者や信頼できる第三者に依存せずに、分散最適化におけるプライバシーを保護できるか？
• RQ2 同型暗号をどのように分散ADMMフレームワークに統合し、エージェントの機微な状態を保護できるか？
• RQ3 時間変動するペナルティ行列を備えたADMM変種が、プライバシー保護環境においてどのような収束保証を有できるか？
• RQ4 追加の暗号層が導入されたにもかかわらず、提案手法は妥当な収束速度を維持できるか？
• RQ5 提案手法は、交換されたメッセージの観測から、攻撃者がプライベート情報を推測できないか？

主な発見

• 時間変動するペナルティ行列を備えた提案ADMMは、O(1/t)の収束速度を達成し、標準ADMMと同等の性能を示す。
• すべての送信メッセージが暗号化されているため、直接の隣接エージェントに対しても、エージェントのプライベート状態が平文で明らかにならない。
• 数値結果により、低コストの計算負荷で最適解に収束することが確認された。
• 理論的解析により、アルゴリズムがラグランジアン関数のサドル点に収束することを証明し、解の最適性を保証した。
• 盗聴者に対して耐性があり、エージェントの位置や学習データといったプライベート情報の推測を防止する。
• 部分的同型暗号を完全に分散化されたADMMフレームワークに統合することが、凸最適化問題において実現可能かつ有効であることが示された。