[論文レビュー] Improving the Privacy and Accuracy of ADMM-Based Distributed Algorithms

Xueru Zhang, Mohammad Mahdi Khalili+1 more|arXiv (Cornell University)|Jun 6, 2018

Privacy-Preserving Technologies in Data参考文献 25被引用数 41

ひとこと要約

本研究は、ADMM に基づく分散学習において差分プライバシーを実現するためのペナルティ摂動法（PP を用いたプライベート M-ADMM）を提案し、収束性を証明するとともに、Adult データセットを用いた実験により、従来のデュアル/プライマル摂動法より精度とプライバシーが改善されることを示す。

ABSTRACT

Alternating direction method of multiplier (ADMM) is a popular method used to design distributed versions of a machine learning algorithm, whereby local computations are performed on local data with the output exchanged among neighbors in an iterative fashion. During this iterative process the leakage of data privacy arises. A differentially private ADMM was proposed in prior work (Zhang & Zhu, 2017) where only the privacy loss of a single node during one iteration was bounded, a method that makes it difficult to balance the tradeoff between the utility attained through distributed computation and privacy guarantees when considering the total privacy loss of all nodes over the entire iterative process. We propose a perturbation method for ADMM where the perturbed term is correlated with the penalty parameters; this is shown to improve the utility and privacy simultaneously. The method is based on a modified ADMM where each node independently determines its own penalty parameter in every iteration and decouples it from the dual updating step size. The condition for convergence of the modified ADMM and the lower bound on the convergence rate are also derived.

研究の動機と目的

• ノード間にデータが分散している ADMM ベースの分散学習におけるプライバシーの懸念を動機づける。
• 各ノードが各反復でプライベートにペナルティパラメータを選択できるように、修正された ADMM（M-ADMM）を提案する。
• 反復プロセス全体で ε-差分プライバシーを実現するペナルティ摂動（PP）メカニズムを導入する。
• プライベートアルゴリズムの収束を証明し、収束速度の下限を確立する。
• 従来の手法と比較して、プライベートペナルティを増やすことでプライバシー保護と有用性の両方を改善できることを、実験を通じて示す。

提案手法

• 各ノードが各反復で独立にペナルティパラメータ ηi(t+1) を選択する修正 ADMM（M-ADMM）を定式化する。
• ノードプライベートペナルティの下での簡略化した ADMM 更新を導出する：摂動目的関数による fi(t+1)（式 (Eq. 10)）と λi(t+1)（式 (Eq. 11)）。
• 標準の凸性仮定とネットワークラプラシアン特性の下で、M-ADMM が ERM 最適解へ収束することを証明する（定理 3.1、3.2）。
• ペナルティ項にランダムベクトル εi(t+1) を加えるペナルティ摂動（PP）スキームを導入し、プライベートな一次更新（式 (Eq. 25)）を導く。
• 反復型分散プロセスに対する β-差分プライバシー保証を定義する（定義 4.1 および 定理 4.1）。
• PP のアルゴリズム 1 を提供し、総プライバシー損失 β を制限し収束を保証するためのパラメータ選択条件を含む。

実験結果

リサーチクエスチョン

• RQ1 各反復でノードプライベートなペナルティパラメータを用いることで、収束を損なうことなく ADMM におけるプライバシーを保つことができるか。
• RQ2 ペナルティ摂動メカニズムは、全反復過程におけるプライバシー損失とアルゴリズムの有用性とのトレードオフにどのように影響するか。
• RQ3 反復を通じてプライベートペナルティを増やすことは、既存の DP-ADMM 手法と比較して、プライバシー保証と精度の双方を向上させるか。
• RQ4 標準の凸性とリプシッツ性仮定の下で、提案されたプライベートM-ADMM の収束条件と収束率の境界は何か。

主な発見

• ノードプライベートペナルティを用いた修正 ADMM は、凸性と有界性の仮定の下で ERM 最適解へ収束する（定理 3.1 および 3.2）。
• プライベート ηi(t) とペナルティ摂動を組み合わせることで、プライバシーと精度の双方が改善され、実験は従来のデュアル変数摂動法（DVP）より安定性が高く精度も高いことを示す。
• 反復を通じてプライベートペナルティパラメータを増やすとノイズに対する頑健性が高まり、精度とプライバシーの両方が向上する（図 1–2）。
• PP 法は、ノードデータサイズと反復回数に比例して増減する境界を持つ β-差分プライバシーを T 回の反復で達成する（定理 4.1）。
• ロジスティック損失を用いた Adult データセットの経験的結果は、適切な PP 設定がサイズの異なるネットワークで DVP を上回り、精度とプライバシーの双方で優れていることを示す（図 2–4）。
• この手法は、収束とプライバシー解析が成り立つ他の ADMM ベースの分散アルゴリズムへも分類以外の領域に拡張できる。