[論文レビュー] Private Learning on Networks: Part II

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Mar 27, 2017

Privacy-Preserving Technologies in Data参考文献 35被引用数 12

ひとこと要約

本論文は、ネットワーキングマルチエージェントシステムにおけるプライバシーを強化するために構造的ランダム化を用いる2つの確率的分散最適化アルゴリズム—RSS-NB および RSS-LB—を提案する。通信中に状態推定値に相関のあるノイズを追加することにより、グローバル最適解への決定的収束を保証するとともに、個々のエージェントの目的関数のプライバシーを維持する。特に特定のネットワーク接続性条件下で有効である。

ABSTRACT

This paper considers a distributed multi-agent optimization problem, with the global objective consisting of the sum of local objective functions of the agents. The agents solve the optimization problem using local computation and communication between adjacent agents in the network. We present two randomized iterative algorithms for distributed optimization. To improve privacy, our algorithms add "structured" randomization to the information exchanged between the agents. We prove deterministic correctness (in every execution) of the proposed algorithms despite the information being perturbed by noise with non-zero mean. We prove that a special case of a proposed algorithm (called function sharing) preserves privacy of individual polynomial objective functions under a suitable connectivity condition on the network topology.

研究の動機と目的

• エージェントが状態推定値を共有する分散最適化において、機密性の高い局所データが漏洩するのを防ぐこと。
• 非ゼロ平均のノイズで状態情報が摂動されても収束を維持する分散最適化アルゴリズムの開発。
• 特に多項式最適化設定において、個々のエージェントの目的関数に対する強力なプライバシー保証を提供すること。
• MNIST や Reuters のような実世界のデータセットを用いた実験により、理論的枠組みの妥当性を検証すること。
• アルゴリズムの正しさを保つように、収束性とプライバシーのトレードオフを実現する構造的ランダム化を導入すること。

提案手法

• エージェント間通信時に状態推定値に相関のあるランダムノイズを追加する RSS-NB（ネットワークバランス）および RSS-LB（ローカルバランス）アルゴリズムを導入。
• ノイズがエージェント間で相関するように構造的ランダム化を実装し、非ゼロ平均摂動下でも収束を維持する。
• 摂動が状態に依存する特殊ケース（関数共有、FS）を導入し、目的関数の隠蔽を模倣。
• 特に接続性条件を満たすネットワークトポロジーの性質を活用し、多項式最適化におけるプライバシー保護を保証。
• リャプノフ解析と摂動の有界性を用いて、相関ノイズが存在する場合でも決定的収束を証明。
• 有限時間誤差バウンドとリプシッツ連続性を用い、収束レートが $\mathcal{O}\left((1+\Delta^{2})\frac{\log(T)}{\sqrt{T}}\right)$ の形で得られることを導出。

実験結果

リサーチクエスチョン

• RQ1 状態推定値が構造的で非ゼロ平均の確率的ノイズで摂動される場合でも、分散最適化アルゴリズムが決定的収束を達成できるか。
• RQ2 どのようなネットワークトポロジー条件のもとで、エージェント間の情報交換にもかかわらず個々のエージェントの目的関数がプライベートに保たれるか。
• RQ3 構造的ランダム化は、分散学習タスクにおける収束速度と最終的精度にどのように影響するか。
• RQ4 提案されたアルゴリズムは、最適化性能を犠牲にせずに強力なプライバシー保証を達成できるか。
• RQ5 分散最適化におけるプライバシーと収束のトレードオフは何か。定量的に分析可能か。

主な発見

• RSS-NB および RSS-LB アルゴリズムは、非ゼロ平均ノイズを伴う構造的ランダム化を用いても、グローバル最適解への決定的収束を達成する。
• 関数共有（FS）変種は、適切なネットワーク接続性条件が満たされれば、個々の多項式目的関数のプライバシーを保持する。
• 理論的分析により、収束レートが $\mathcal{O}\left((1+\Delta^{2})\frac{\log(T)}{\sqrt{T}}\right)$ であることが示され、ここで $\Delta$ はノイズの大きさを表す。
• MNIST および Reuters データセットを用いた実験により、追加のランダム化があっても高いモデル精度が得られ、理論的収束性とプライバシー主張が妥当であることが確認された。
• 深層ニューラルネットワーク学習およびロジスティック回帰において、非プライベートベースラインと同等の性能を維持しながらも、強力なプライバシーを実現した。
• 相関ノイズの使用により、摂動が収束性を劣化させないことが保証され、実用的なプライバシー-収束トレードオフが実現可能となった。