[論文レビュー] Differentially Private ADMM for Distributed Medical Machine Learning

Jiahao Ding, Xiaoqi Qin+4 more|arXiv (Cornell University)|Jan 7, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 6

ひとこと要約

本稿では、分散医療機械学習における差分プライバシーを実現するためのP-ADMMを提案する。P-ADMMは、動的ゼロ集中差分プライバシー（dynamic zCDP）を達成するために、線形に減少する分散を持つガウスノイズを各反復に注入する。非プライベートADMMと同等の収束速度（一般の凸問題ではO(1/K)、強く凸な問題では線形収束）を維持しながら、強力なプライバシー保証を実現しており、実世界の医療データセットにおいて、既存のプライベートADMM手法を実験的に上回っている。

ABSTRACT

Due to massive amounts of data distributed across multiple locations, distributed machine learning has attracted a lot of research interests. Alternating Direction Method of Multipliers (ADMM) is a powerful method of designing distributed machine learning algorithm, whereby each agent computes over local datasets and exchanges computation results with its neighbor agents in an iterative procedure. There exists significant privacy leakage during this iterative process if the local data is sensitive. In this paper, we propose a differentially private ADMM algorithm (P-ADMM) to provide dynamic zero-concentrated differential privacy (dynamic zCDP), by inserting Gaussian noise with linearly decaying variance. We prove that P-ADMM has the same convergence rate compared to the non-private counterpart, i.e., $\mathcal{O}(1/K)$ with $K$ being the number of iterations and linear convergence for general convex and strongly convex problems while providing differentially private guarantee. Moreover, through our experiments performed on real-world datasets, we empirically show that P-ADMM has the best-known performance among the existing differentially private ADMM based algorithms.

研究の動機と目的

• 複数の場所に分散して保管される機微なデータを扱う分散医療機械学習におけるプライバシー漏洩を是正すること。
• エージェント間の反復的通信中に差分プライバシーを保証する分散最適化アルゴリズムを設計すること。
• 標準ADMMの収束特性を維持しながら、強力なプライバシー保証を提供すること。
• 提案手法の性能を、実世界の医療データセット上で既存の差分プライベートADMMアプローチと比較して実験的に評価すること。

提案手法

• 各反復において線形に減少する分散を持つガウスノイズを注入することで、動的ゼロ集中差分プライバシー（dynamic zCDP）を達成する、差分プライベートADMMの変種P-ADMMを提案する。
• 反復回数に応じて分散が線形に減少するノイズ注入戦略を導入し、プライバシーと収束精度のトレードオフを最適化する。
• 各エージェントが局所計算を実行し、隣接エージェントと僅かなノイズを含む中間結果のみを交換するように、標準ADMMフレームワークを適合させる。
• 反復全体における総プライバシー損失を厳密に束縛するため、zCDPフレームワークを用いた高度なプライバシー会計を採用する。
• 累積プライバシー損失がユーザーが定義したepsilonsに類似した境界内に収まるように、プライバシー予算の割り当て戦略を採用する。
• 標準ADMMと同一のアルゴリズム的構造を維持しながら、各更新ステップにプライバシー保護ノイズを統合する。

実験結果

リサーチクエスチョン

• RQ1 収束速度を犠牲にすることなく、強い差分プライバシー保証を提供する分散ADMMアルゴリズムを設計できるか？
• RQ2 ノイズ分散スケジュールの選択が、反復的分散学習におけるプライバシーとモデル精度のトレードオフにどのように影響するか？
• RQ3 プライバシー制約下でも、非プライベートADMMと同等の収束速度を維持できるか？
• RQ4 実際の医療データセットにおいて、P-ADMMは既存の差分プライベートADMMベースの手法と比較してどのように性能を発揮するか？

主な発見

• P-ADMMは、線形に減少する分散を持つ適切にスケジュールされたガウスノイズを用いることで、動的ゼロ集中差分プライバシー（dynamic zCDP）を達成する。
• アルゴリズムは非プライベートADMMと同等の収束速度を維持する：一般の凸問題ではO(1/K)、強く凸な問題では線形収束。
• 実世界の医療データセットを用いた実験的評価により、P-ADMMは既存の差分プライベートADMMベースの手法よりも、モデル精度と収束速度の両面で優れていることが示された。
• zCDP会計を用いることで、反復全体にわたるプライバシー予算が効果的に管理され、厳密なプライバシー保証が確保された。
• データが分散されており、プライバシーが極めて重要な医療機械学習の文脈において、本手法は強く実用的であることが示された。