[論文レビュー] Privacy-preserving Decentralized Optimization Based on ADMM

Chunlei Zhang, Yongqiang Wang|arXiv (Cornell University)|Jul 13, 2017

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿は、部分的準同型暗号を用いたADMMを用いた、プライバシー保護型分散最適化フレームワークを提案する。中央集約者を必要とせず、完全に分散化された計算を実現する。時間変動するペナルティ行列を備えた新しいADMMの変種を導入し、O(1/t)の収束速度を証明した。計算のオーバーヘッドは低く、エージェントの機微なデータを保護する。

ABSTRACT

Privacy preservation is addressed for decentralized optimization, where $N$ agents cooperatively minimize the sum of $N$ convex functions private to these individual agents. In most existing decentralized optimization approaches, participating agents exchange and disclose states explicitly, which may not be desirable when the states contain sensitive information of individual agents. The problem is more acute when adversaries exist which try to steal information from other participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on ADMM and partially homomorphic cryptography. To our knowledge, this is the first time that cryptographic techniques are incorporated in a fully decentralized setting to enable privacy preservation in decentralized optimization in the absence of any third party or aggregator. To facilitate the incorporation of encryption in a fully decentralized manner, we introduce a new ADMM which allows time-varying penalty matrices and rigorously prove that it has a convergence rate of $O(1/t)$. Numerical and experimental results confirm the effectiveness and low computational complexity of the proposed approach.

研究の動機と目的

• エージェントが機微な状態情報を共有する分散最適化におけるプライバシー漏洩を解消すること。
• プライバシー保護型最適化において、中央集約者や信頼できる第三者に依存しないこと。
• 特に部分的準同型暗号を含む暗号技術を、完全に分散化されたADMMフレームワークに統合すること。
• エージェントレベルのデータプライバシーを保ちながら、収束性と計算効率を確保すること。
• 安全な分散計算に適した、時間変動するペナルティ行列を備えた新しいADMMの変種を開発すること。

提案手法

• 時間変動するペナルティ行列をサポートするように変更されたADMMアルゴリズムを提案し、分散環境における柔軟性とセキュリティを向上させる。
• 機微なエージェント状態を通信中に保護するため、部分的準同型暗号を統合する。これにより、盗聴者や攻撃者に対してもプライバシーが保証される。
• エージェントがローカル計算を実行し、暗号化された変数のみを交換する完全に分散化されたプロトコルを設計する。中央コーディネータの必要性がなくなる。
• 準同型性の性質を活用し、中間段階で復号を行わずに、暗号化された変数の安全な集約を可能にする。
• 提案されたADMM変種の収束がO(1/t)の速度で達成されることを証明し、理論的信頼性を確保する。
• エージェントが暗号化されたデータと動的に調整されたペナルティパラメータを用いて、反復的にローカル変数を更新する分散コンSENSUSメカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 中央集約者や信頼できる第三者が存在しない分散最適化において、プライバシーを保護できるか？
• RQ2 どのようにして準同型暗号を分散ADMMフレームワークに効果的に統合できるか？
• RQ3 時間変動するペナルティ行列を用いることで、分散最適化における収束性とプライバシーにどのような影響を与えるか？
• RQ4 提案手法は、強力なプライバシー保証を維持しながら、低い計算複雑性を維持できるか？
• RQ5 分散かつ暗号化された条件下で、提案されたプライバシー保護型ADMM変種の収束速度はいかほどか？

主な発見

• 提案手法は、理想状態下での標準ADMMと同等の理論的性能を示すO(1/t)の収束速度を達成した。
• 部分的準同型暗号の統合により、エージェント間の通信が原始的な状態データを露呈せずに安全に実現された。
• フレームワークは完全に分散化されており、いかなる中央機関や集約者にも依存しない。
• 数値実験により、プライバシーを保護しつつ計算効率を維持できることを確認した。
• 時間変動するペナルティ行列の使用により、動的で分散化された環境における適応性と安全な収束が向上した。
• 計算のオーバーヘッドが低く抑えられており、プライバシーに配慮した実世界の応用に実用的であることが示された。