[論文レビュー] Privacy Preservation in Distributed Subgradient Optimization Algorithms

Youcheng Lou, Lean Yu+1 more|arXiv (Cornell University)|Dec 30, 2015

Distributed Control Multi-Agent Systems参考文献 20被引用数 4

ひとこと要約

本稿では、暗号技術に依存せずにプライバシー保護を保証する、新しい分散型部分勾配射影非同期最適化アルゴリズムを提案する。非同期更新メカニズムと凸射影集合を導入することで、悪意あるエージェントが他のエージェントの部分勾配を推定するのを防ぎ、標準的な仮定のもとで最適収束速度を達成する。

ABSTRACT

Privacy preservation is becoming an increasingly important issue in data mining and machine learning. In this paper, we consider the privacy preserving features of distributed subgradient optimization algorithms. We first show that a well-known distributed subgradient synchronous optimization algorithm, in which all agents make their optimization updates simultaneously at all times, is not privacy preserving in the sense that the malicious agent can learn other agents' subgradients asymptotically. Then we propose a distributed subgradient projection asynchronous optimization algorithm without relying on any existing privacy preservation technique, where agents can exchange data between neighbors directly. In contrast to synchronous algorithms, in the new asynchronous algorithm agents make their optimization updates asynchronously. The introduced projection operation and asynchronous optimization mechanism can guarantee that the proposed asynchronous optimization algorithm is privacy preserving. Moreover, we also establish the optimal convergence of the newly proposed algorithm. The proposed privacy preservation techniques shed light on developing other privacy preserving distributed optimization algorithms.

研究の動機と目的

• 同期アルゴリズムにおいて、悪意あるエージェントが機微な部分勾配を推定可能な、分散部分勾配最適化におけるプライバシー漏洩という重要な問題に取り組む。
• ノイズ注入や微分プライバシーに依存しない、暗号技術に依存しないプライバシー保護メカニズムを設計する。
• 悪意あるエージェントがデータ交換を監視・記録するという攻撃的状況下でも、エージェントのプライベートな部分勾配が保護されることを保証する。
• 有界な部分勾配と連合ネットワーク接続性を仮定したもとで、提案された非同期アルゴリズムの最適収束を確立する。
• 類似の原則を用いた他のプライバシー保護分散最適化アルゴリズムの開発の基盤を提供する。

提案手法

• エージェントが自らのローカル更新シーケンスに基づいて独立して状態を更新する、非同期分散部分勾配アルゴリズムを導入する。
• 状態更新を制約するための凸射影集合を採用し、これにより部分勾配に関する情報漏洩が本質的に制限される。
• エージェントが同期をとらなくてもよい非同期更新メカニズムを採用することで、時間ステップ間でのデータ相関を悪意あるエージェントが確立する機会が減少する。
• 減衰するステップサイズルールを適用し、一致平均化を活用して最適解への収束を保証する。
• リャプノフ型関数を用いた収束解析を行い、誤差項の可summable性を確立して収束を証明する。
• 部分勾配関連誤差項の和が収束することを示し、アルゴリズムがプライバシーを保持しつつ、漸近的に最適解に近づくことを示す。

実験結果

リサーチクエスチョン

• RQ1 悪意あるエージェントが他のエージェントの部分勾配を漸近的に再構築できないような、分散部分勾配アルゴリズムを設計できるか？
• RQ2 更新プロセスにおける非同期性が、同期型アルゴリズムと比較して本質的にプライバシーを向上させるか？
• RQ3 ノイズ注入や暗号プリミティブに依存せずに、プライバシーを保護できるか？
• RQ4 非同期的かつプライバシー保護型分散最適化フレームワークにおいて、最適収束を保証する条件は何か？
• RQ5 提案されたアルゴリズムは、プライバシーおよび収束の観点から、攻撃的行動に対してロバストか？

主な発見

• 知られている同期分散部分勾配アルゴリズムは、ほとんどすべての隣接行列に対して、悪意あるエージェントが他のエージェントの部分勾配を漸近的に学習可能であるため、プライバシー保護ではない。
• 凸射影集合を用いた提案された非同期アルゴリズムは、送信データをすべて観測しても、悪意あるエージェントが部分勾配を推定できないことを効果的に防ぐ。
• アルゴリズムは最適収束速度を達成し、部分勾配誤差の和が時間とともにゼロに収束する。
• 収束の証明により、最適解への二乗距離の極限が存在し、かつ有限であることが示され、一致誤差が漸近的に消えることが分かった。
• 有界な部分勾配と連合ネットワーク接続性のもとで、誤差項が時間とともにsummableであるため、アルゴリズムは収束を維持する。
• 提案手法は、高分散ノイズによる最適性劣化を回避する、暗号技術に依存せずノイズのない代替手法を提供する。