[論文レビュー] Privacy-preserving Decentralized Optimization via Decomposition

Chunlei Zhang, Huan Gao+1 more|arXiv (Cornell University)|Aug 28, 2018

Distributed Control Multi-Agent Systems参考文献 30被引用数 6

ひとこと要約

本稿では、プロキシマル・ヤコビADMMフレームワーク内での関数分解を用いた、プライバシー保護型分散最適化手法を提案する。ノイズや暗号化を用いずに、正確な収束を実現する。各エージェントの（部分）勾配が誠実だが好奇心の強い攻撃者から保護される。局所的目的関数を分解することで、通信中に漏洩が生じない。アルゴリズムの最適性と低い計算コストを維持する。

ABSTRACT

This paper considers the problem of privacy-preservation in decentralized optimization, in which $N$ agents cooperatively minimize a global objective function that is the sum of $N$ local objective functions. We assume that each local objective function is private and only known to an individual agent. To cooperatively solve the problem, most existing decentralized optimization approaches require participating agents to exchange and disclose estimates to neighboring agents. However, this results in leakage of private information about local objective functions, which is undesirable when adversaries exist and try to steal information from participating agents. To address this issue, we propose a privacy-preserving decentralized optimization approach based on proximal Jacobian ADMM via function decomposition. Numerical simulations confirm the effectiveness of the proposed approach.

研究の動機と目的

• 分散最適化におけるプライバシー漏洩を是正すること。特に、コンSENSUSの過程でエージェントが（部分）勾配を共有する際の問題を対処する。
• 微分プライバシー手法に内在するプライバシーと精度のトレードオフを解消すること。
• 暗号化に基づくアプローチの高い計算コストと通信コストを回避すること。
• 信頼できる第三者やアグリゲーターに依存せずにプライバシーを確保すること。
• 誠実だが好奇心の強い攻撃者ですら、交換されたデータからプライベートな（部分）勾配を推測できないようにすること。

提案手法

• 各エージェントの局所的目的関数を成分関数の和に分解することで、元の（部分）勾配構造を隠蔽する。
• 分散最適化問題を分散的に解くために、プロキシマル・ヤコビADMMアルゴリズムを採用する。
• 各エージェントは、元の（部分）勾配ではなく、分解された目的関数の成分のみを交換する。
• 分解により、隣接エージェントが交換された情報から元のプライベートな（部分）勾配を再構築できないようにする。
• 標準的な凸性仮定のもとで、真の最適解への収束を維持する。
• 理論的分析により、複数の反復にわたりすべての交換メッセージを観測する攻撃者であっても、プライベートな（部分）勾配を推測できないことが証明される。

実験結果

リサーチクエスチョン

• RQ1 分散最適化を、解の正確性を損なわせることなくプライバシー保護可能か？
• RQ2 ノイズを追加したり暗号化を使わずにプライバシーを確保可能か？
• RQ3 誠実だが好奇心の強い攻撃者が、分散ADMMフレームワーク内で交換されたメッセージからプライベートな（部分）勾配を推測可能か？
• RQ4 関数分解により、プライバシーと真の最適解への収束の両立が可能か？
• RQ5 提案手法の計算コストおよび通信コストはどの程度か？

主な発見

• 提案手法は、真の最適解 $[0.35; 0.45]$ に誤差 $5.1 \times 10^{-4}$ で収束し、高い正確性を確認した。
• 数値シミュレーションにより、微分プライバシーに基づく手法ではプライバシーと精度の根本的トレードオフが生じるが、本手法はこれを回避した。
• 誠実だが好奇心の強い攻撃者であっても、すべての交換メッセージを複数反復にわたり観測しても、プライバシーが保証される。
• 理論的分析により、標準的な凸性仮定のもとでアルゴリズムが最適解へ収束することが確認された。
• 暗号化やノイズベース手法と比較して、計算コストおよび通信コストが最小限に抑えられた。
• 収束速度が維持され、$\|\bm{x}^k - \bm{x}^*\|_Q \to 0$ が $k \to \infty$ のとき成り立ち、最適性が保証された。