[論文レビュー] Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms

K.S. Kumar, Marc Peter Deisenroth|arXiv (Cornell University)|May 13, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用数 4

ひとこと要約

本稿では、構造的スパarsityを誘導する非滑らか正則化子を用いた、微分プライバシーを満たす経験的リスク最小化（ERM）アルゴリズムを提案する。スパarsity誘導正則化子に焦点を当て、双対ERM問題に対するプライベートなフランク＝ウォルフアルゴリズムを導入し、双対ノルムの単位球のガウス幅に依存する超過リスクバウンドを導出する。また、プライマリ空間における目的関数の摂動と双対空間における出力摂動の間で新たな同等性を確立する。

ABSTRACT

Differential privacy is concerned about the prediction quality while measuring the privacy impact on individuals whose information is contained in the data. We consider differentially private risk minimization problems with regularizers that induce structured sparsity. These regularizers are known to be convex but they are often non-differentiable. We analyze the standard differentially private algorithms, such as output perturbation, Frank-Wolfe and objective perturbation. Output perturbation is a differentially private algorithm that is known to perform well for minimizing risks that are strongly convex. Previous works have derived excess risk bounds that are independent of the dimensionality. In this paper, we assume a particular class of convex but non-smooth regularizers that induce structured sparsity and loss functions for generalized linear models. We also consider differentially private Frank-Wolfe algorithms to optimize the dual of the risk minimization problem. We derive excess risk bounds for both these algorithms. Both the bounds depend on the Gaussian width of the unit ball of the dual norm. We also show that objective perturbation of the risk minimization problems is equivalent to the output perturbation of a dual optimization problem. This is the first work that analyzes the dual optimization problems of risk minimization problems in the context of differential privacy.

研究の動機と目的

• 非滑らかで構造的スパarsityを誘導する正則化子を用いたERMにおける微分プライバシーを達成する課題に対処すること。
• 非滑らか正則化子の文脈において、出力摂動とフランク＝ウォルフアルゴリズムの有効性を分析すること。
• 双対ノルムの単位球のガウス幅に依存する理論的超過リスクバウンドを提供すること。
• プライマリ空間における目的関数摂動と双対最適化問題における出力摂動の間の新たな同等性を確立すること。
• 非滑らかERM設定におけるミラー降下法および勾配摂動ベースのプライベートアルゴリズムの分析への道筋を開くこと。

提案手法

• 非滑らか正則化子を用いたプライマリERM問題に、モデルパラメータにノイズを追加することで微分プライバシーを満たす出力摂動を適用する。
• 双対空間の構造を活用して、ERM問題の双対を最適化するプライベートなフランク＝ウォルフアルゴリズムを開発する。
• 双対ノルムの単位球のガウス幅を分析することで、出力摂動およびプライベートなフランク＝ウォルフの両方の超過リスクバウンドを導出する。
• フェンヒェル双対性を用いて、プライマリ空間における目的関数摂動を双対空間における出力摂動に再定式化し、同等性を証明する。
• 強い双対性およびフェンヒェル共役関数を用いて、摂動を加えたプライマリ問題を双対最適化問題に変換する。
• サブモジュラ関数を正則化子として用い、構造的スパarsityを誘導し、双対空間における多面体集合の利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非滑らかでスパarsity誘導正則化子を有するERM問題に、出力摂動をどのように効果的に適用できるか。
• RQ2 構造的スパarsityを有するERM問題の双対に適用されたプライベートなフランク＝ウォルフアルゴリズムの超過リスクバウンドは何か。
• RQ3 プライマリERM問題における目的関数摂動は、双対問題における出力摂動として同等に解釈できるか。
• RQ4 双対ノルムの単位球のガウス幅は、微分プライバシーERMにおける超過リスクにどのように影響するか。
• RQ5 非滑らか正則化子を用いたプライベートERMにおける有効性バウンドを向上させるために、双対ノルムのどのような構造的性質を活用できるか。

主な発見

• 出力摂動の超過リスクバウンドは、双対ノルムの単位球のガウス幅に依存し、次元に依存しない有効性保証を提供する。
• 双対ERM問題に適用されたプライベートなフランク＝ウォルフアルゴリズムは、双対ノルムの単位球のガウス幅に支配される超過リスクバウンドを達成する。
• プライマリ空間における目的関数摂動は、数学的に双対最適化問題における出力摂動と同等である。
• 著者らは、微分プライバシーを適用したERMにおける双対最適化問題の理論的分析を初めて確立した。
• 従来の超過リスクバウンドの研究を拡張し、構造的スパarsityが誘導されると、入力次元に依存しないバウンドが得られることを示した。
• 本フレームワークは、非滑らかERM設定におけるミラー降下法および勾配摂動ベースのプライベートアルゴリズムの分析に新たな道筋を開いた。