[論文レビュー] Learning Privately over Distributed Features: An ADMM Sharing Approach

Yaochen Hu, Peng Liu+2 more|arXiv (Cornell University)|Jul 17, 2019

Privacy-Preserving Technologies in Data参考文献 44被引用数 32

ひとこと要約

垂直分割（分散）特徴量上での経験的リスク最小化のためのADMM共有フレームワークを提案し、サンプルごとに単一の値を送信するだけでプライバシーを実現し、差分プライバシーの版を提供する。

ABSTRACT

Distributed machine learning has been widely studied in order to handle exploding amount of data. In this paper, we study an important yet less visited distributed learning problem where features are inherently distributed or vertically partitioned among multiple parties, and sharing of raw data or model parameters among parties is prohibited due to privacy concerns. We propose an ADMM sharing framework to approach risk minimization over distributed features, where each party only needs to share a single value for each sample in the training process, thus minimizing the data leakage risk. We establish convergence and iteration complexity results for the proposed parallel ADMM algorithm under non-convex loss. We further introduce a novel differentially private ADMM sharing algorithm and bound the privacy guarantee with carefully designed noise perturbation. The experiments based on a prototype system shows that the proposed ADMM algorithms converge efficiently in a robust fashion, demonstrating advantage over gradient based methods especially for data set with high dimensional feature spaces.

研究の動機と目的

• 特徴が当事者間で本質的に分散しており、生のデータをプライバシーの理由で共有できない場合の学習を動機づける。
• 垂直分割データで経験的リスクを最小化しつつ、最小限の情報共有でADMMベースのアルゴリズムを開発する。
• 非凸損失に対する並列ADMM共有の収束保証を確立し、差分プライバシー版を提供する。
• 高次元特徴データセットに対して、本手法が勾配ベースの方法を上回る実証的証拠を示す。

提案手法

• 分散特徴を用いた経験的リスク最小化を、補助変数zを用いた制約問題として再定式化する。
• 各パーティが局所変数x_mを更新し、中央ノードがzと双対変数yを更新する並列ADMMスキームを用いる。
• 各パーティは各反復で単一の値のみを共有し、データ漏洩リスクを低減する。
• 非凸損失下での並列ADMMの収束性と反復複雑性を証明し、既存のGauss-Seidel結果を拡張する。
• 共有メッセージにガウスノイズを加えて(ε,δ)-DPを達成する差分プライバシー版のADMMを導入する。
• 収束に対するLyapunovに基づく解析を提供し、DPを保証するための感度に基づくノイズスケールを導出する。

実験結果

リサーチクエスチョン

• RQ1 生の特徴量や局所モデルを共有せずに、垂直分割データを用いたERMをADMMベースのアプローチで解決できるか？
• RQ2 非凸損失設定における並列ADMMの収束性と反復複雑性の保証をどのように確立できるか？
• RQ3 中間通信を保護しつつ性能を阻害しないように、ADMM共有に差分プライバシーを統合するにはどうすればよいか？
• RQ4 高次元特徴空間において、ADMM共有法は勾配ベースの方法とどのように比較されるか？

主な発見

• 並列ADMM共有アルゴリズムは、非凸損失に対して控えめな仮定の下で定常解へ収束する。
• Lyapunov関数で特徴づけられる反復複雑性を持つ収束を達成し、ϵ-精度の解へ到達するために有限回の反復を要する。
• 感度boundに校正されたガウスノイズを用いて、反復ごとおよび全Tエポックに渡ってε,δ-差分プライバシーを保証するADMM共有の差分プライベート版。
• 実験は、特に特徴空間が大きいデータセットでADMM共有アルゴリズムが効率的に収束し堅牢であることを示し、高次元設定で勾配ベースの方法を上回る可能性を示唆する。
• 中程度の摂動で差分プライバシーを維持でき、収束を妨げず、予測精度を過度に犠牲にせずプライバシーを向上させる。