[論文レビュー] Private Learning on Networks

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Dec 15, 2016

Privacy-Preserving Technologies in Data参考文献 50被引用数 11

ひとこと要約

本稿では、個々の目的関数を露呈せずに、非凸関数を含むプライベート関数の和を協調的に最小化するプライバシー保護型分散最適化アルゴリズムを提案する。ランダムなオフセットを用いた安全な関数共有と二重確率的混合行列を用いることで、頂点連結性の制約下でグローバル最適解への収束を保証するとともに、攻撃者が妥当な候補関数を区別できないことを証明する。

ABSTRACT

Continual data collection and widespread deployment of machine learning algorithms, particularly the distributed variants, have raised new privacy challenges. In a distributed machine learning scenario, the dataset is stored among several machines and they solve a distributed optimization problem to collectively learn the underlying model. We present a secure multi-party computation inspired privacy preserving distributed algorithm for optimizing a convex function consisting of several possibly non-convex functions. Each individual objective function is privately stored with an agent while the agents communicate model parameters with neighbor machines connected in a network. We show that our algorithm can correctly optimize the overall objective function and learn the underlying model accurately. We further prove that under a vertex connectivity condition on the topology, our algorithm preserves privacy of individual objective functions. We establish limits on the what a coalition of adversaries can learn by observing the messages and states shared over a network.

研究の動機と目的

• ネットワークに分散して保存された機密データを扱う分散機械学習におけるプライバシー保護の課題に対処すること。
• エージェントが個々のプライベートな局所関数を露呈せずにグローバルな目的関数を協調的に最適化できる手法を開発すること。
• 分散最適化設定において、個々の目的関数のプライバシーを形式的に定義し、実現すること。
• ネットワークのトポロジーが攻撃者による合同のグループに対して耐性を持つ十分な頂点連結性を有する場合、プライバシーが保たれることを証明すること。
• 理論的解析とシミュレーションを通じて、正しさ、収束性、およびプライバシーの有効性を実証すること。

提案手法

• エージェントは、二重確率的混合行列 B_k を持つネットワークを介して、モデルパラメータを安全なマルチパーティ計算に類似したプロトコルで共有する。
• 各エージェントは、ランダム関数 R_I,J(x) から導出されるランダム関数 R_{i,j}(x) を追加することで、自身のプライベート目的関数 f_i(x) をオフセットし、集約関数 f(x) が不変のまま保たれるようにする。
• 反復更新に用いるステップサイズ α_k = 1/(k + 0.0001) は、単調に減少し、二乗可 summable である。
• エージェントは、ネットワーク全体での状態統合を伴うコアリションベースの勾配降下法ルールにより、局所モデルパラメータを更新する。
• プライバシーは、任意の f 個のエージェントの合同が、妥当な候補関数間のあいまいさを減少させられないように保証されることで実現され、その条件としてネットワークの頂点連結性が f より大きいことが必要である。
• 本手法は、集約関数の不変性と代数的変換を活用することで、正しさとプライバシーの両方を維持する。

実験結果

リサーチクエスチョン

• RQ1 分散最適化アルゴリズムは、グローバルな和を正しく最小化する中で、個々の目的関数のプライバシーを保持できるか？
• RQ2 攻撃者が共有されたメッセージからプライベート関数を推定できないようなネットワークトポロジーの条件は何か？
• RQ3 プライベート関数をどのようにオフセットすれば、集約解が不変かつ正しいまま保たれるか？
• RQ4 分散環境下で、攻撃者グループがプライベート関数に関する不確実性をどの程度まで減少させられるか？
• RQ5 提案されたアルゴリズムは、プライバシー制約下でも真のグローバル最適解に収束するか？

主な発見

• シミュレーション設定において、集約関数 f(x) = 2(x² + x⁴) のグローバル最適解 x* = 0 に正しく収束する。
• 反復平均は最適点に収束し、平均からの最大偏差は時間経過とともに減少し、エージェント間の合意形成が成立していることを示している。
• RMS誤差 η²_k は反復回数を増やすにつれて減少し、分散アルゴリズムの収束性と安定性を確認している。
• 真の勾配 ∇f_i(x) と観測された勾配 ∇f̂_i(x) は著しく異なるため、攻撃者がプライベート関数を推定できない。
• オフセットされた関数 f̂_i(x) は元の関数 f_i(x) と顕著に異なる。例えば f̂_1(x) = -3x - 4x² - 4x³ + 2x⁴ であり、効果的なオフセットが実現されている。
• 頂点連結性が f より大きい f-許容グラフではプライバシーが保たれ、攻撃者がプライベート関数を推測するあらゆる仮説が観測データと同等に整合的であることが保証される。