[論文レビュー] Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation

Zonghao Huang, Yanmin Gong|arXiv (Cornell University)|May 16, 2020

Privacy-Preserving Technologies in Data参考文献 33被引用数 7

ひとこと要約

本稿では、凸分散学習のためのプライバシー保護型ADMMアルゴリズムを提案する。この手法は、複数ステップの近似更新とキャリブレートされたノイズ注入により、プライバシーと有効性のトレードオフを改善する。ノードごとに1イテレーションあたり複数回のプライマル変数更新を許容し、局所的目的関数の近似を活用することで、状態技術のプライベートな経験的リスク最小化と漸近的に同等の誤差バウンドを達成し、プライバシーと有効性のバランスを著しく向上させる。

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) is a popular algorithm for distributed learning, where a network of nodes collaboratively solve a regularized empirical risk minimization by iterative local computation associated with distributed data and iterate exchanges. When the training data is sensitive, the exchanged iterates will cause serious privacy concern. In this paper, we aim to propose a new differentially private distributed ADMM algorithm with improved accuracy for a wide range of convex learning problems. In our proposed algorithm, we adopt the approximation of the objective function in the local computation to introduce calibrated noise into iterate updates robustly, and allow multiple primal variable updates per node in each iteration. Our theoretical results demonstrate that our approach can obtain higher utility by such multiple approximate updates, and achieve the error bounds asymptotic to the state-of-art ones for differentially private empirical risk minimization.

研究の動機と目的

• 訓練データが機微な状況における分散ADMMにおけるプライバシー保護の課題に対処すること。
• 凸最適化問題のためのプライベート分散学習におけるプライバシーと有効性のトレードオフを改善すること。
• 強い収束保証を維持しながら、頑健なノイズキャリブレーションを通じて微分プライバシーを確保するアルゴリズムを設計すること。
• 1イテレーションあたり複数回の近似更新が、プライバシーを損なわずに有効性を向上させることを実証すること。

提案手法

• ノード1つあたり1イテレーションに複数回の近似プライマル変数更新を実行する、新しいプライベートADMMフレームワークを導入する。
• 局所的目的関数の近似を用いて、反復更新にキャリブレートされたノイズを頑健に統合する。
• プライバシー予算の割り当てを考慮した時変化するガウスノイズを用い、(ε,δ)-微分プライバシーを保証する。
• 各ノードが1回のADMMイテレーションあたりl回の近似更新を実行するマルチステップ更新戦略を適用し、収束性と有効性を向上させる。
• 強い凸性とリプシッツ勾配の仮定に基づき、超過経験的リスクと実行可能性違反に関する理論的バウンドを導出する。
• 収束安定性を保つために、双対変数の更新とペナルティパラメータのダイナミクスを統合する。

実験結果

リサーチクエスチョン

• RQ1 1イテレーションあたりノードで複数回の近似更新を実行することで、プライベート分散学習の有効性が向上するか？
• RQ2 局所的目的関数の近似は、収束性を保持しつつ、どのように頑健なノイズ注入を可能にするか？
• RQ3 提案手法の理論的誤差バウンドは、状態技術のプライベート経験的リスク最小化と比較してどうなるか？
• RQ4 収束速度を損なわせることなく、プライバシーと有効性のトレードオフを著しく改善できるか？
• RQ5 マルチステップ更新戦略は、実行可能性違反を伴う超過経験的リスクにどのように影響するか？

主な発見

• 提案アルゴリズムは、プライベート経験的リスク最小化のための状態技術と漸近的に同等の超過経験的リスクバウンドを達成する。
• 誤差バウンドはt回のイテレーションと1イテレーションあたりl回の近似更新を考慮してO(1/√(t·l))とスケーリングされ、単一更新手法よりも有効性が向上する。
• 理論的分析により、1イテレーションあたりの複数回の更新が、ノイズの収束への影響を軽減することで有効性を向上させることを確認した。
• 局所勾配とデータ感度に基づく注意深くキャリブレートされたノイズ注入により、(ε,δ)-微分プライバシーが維持される。
• 実世界のデータセットを用いた数値実験により、DP-ADMM や Recycled ADMM といった先行研究と比較して、より優れたプライバシーと有効性のトレードオフが得られた。
• 標準的な仮定の下で、超過経験的リスクの収束速度はO(1/√t)であり、プライベート最適化における既知のバウンドと一致する。