[論文レビュー] Differentially Private Empirical Risk Minimization Revisited: Faster and More General

Di Wang, Minwei Ye+1 more|arXiv (Cornell University)|Feb 14, 2018

Complexity and Algorithms in Graphs被引用数 141

ひとこと要約

本論文は、凸および非凸の損失に対する DP-ERM を再検討し、改善されたユーティリティ境界とともに高速な勾配摂動アルゴリズムを提示し、Polyak-Lojasiewicz 条件への結果拡張を行う。

ABSTRACT

In this paper we study the differentially private Empirical Risk Minimization (ERM) problem in different settings. For smooth (strongly) convex loss function with or without (non)-smooth regularization, we give algorithms that achieve either optimal or near optimal utility bounds with less gradient complexity compared with previous work. For ERM with smooth convex loss function in high-dimensional ($p\\gg n$) setting, we give an algorithm which achieves the upper bound with less gradient complexity than previous ones. At last, we generalize the expected excess empirical risk from convex loss functions to non-convex ones satisfying the Polyak-Lojasiewicz condition and give a tighter upper bound on the utility than the one in \\cite{ijcai2017-548}.

研究の動機と目的

• 感度の高いデータ上での経験的リスク最小化 (ERM) に対する効率的な差分プライバシーの動機づけ。
• 凸性、強凸性、非凸設定を横断する DP-ERM のユーティリティ境界と勾配計算の複雑性を改善。
• Polyak-Lojasiewicz 条件を満たす非凸損失に対する DP-ERM の分析を拡張。
• 制約集合の幾何学による次元依存の低減を通じて高次元 ERM に対応。

提案手法

• DP-SVRG および DP-SVRG++ の変種をガウス勾配摂動と組み合わせ、 private proximal 更新 を実現。
• ガウス機構とモーメントアカウンタンタを用いてプライバシーを確立し、ノイズスケール csigma^2 を G^2Tm/n^2psilon^2 に比例させる境界を設定。
• 強凸および非強凸の場合のユーティリティ境界を改善し、勾配計算の複雑性を分析。
• DP-AccMD を導入し、ガウス幅とミンコフスキー norm を利用して高次元・幾何学を意識した DP-ERM を実現。
• Polyak-Lojasiewicz 条件を満たす非凸目的関数へ分析を拡張し、より厳密なユーティリティ境界を提供。

実験結果

リサーチクエスチョン

• RQ1 勾配摂動 DP-ERM が凸および強凸損失に対してより良いユーティリティと低い勾配計算複雑性を達成できるか。
• RQ2 幾何学的制約を通じて次元依存を低減し、高次元設定へ DP-ERM を効率的に拡張できるか。
• RQ3 DP の下で非強凸および非凸損失のユーティリティ保証はどのようになるか、特に Polyak-Lojasiewicz 条件下で。
• RQ4 DP-AccMD は private ERM においてガウス幅とミンコフスキーノルムを活用することでより高速な収束を提供するか。
• RQ5 プライバシーアカウンティング技術（ガウス機構、モーメントアカウンタンタ、高度な組み合わせ） は実用的な DP-ERM アルゴリズムにどのような影響を与えるか。

主な発見

• DP-SVRG は強凸の場合、従来の DP 手法と比較して勾配計算の複雑性を抑えつつ実用的に近いユーティリティを達成。
• DP-SVRG++ は非強凸の場合に近似最適なユーティリティを達成し、次元が高い場合の勾配計算複雑性を O(n^{1.5}) に改善。
• DP-AccMD はガウスノイズでプライバシーを保証し、ユーティリティ境界が環境次元ではなくガウス幅 G_C と直径 ||C||_2 に比例してスケールする。
• Polyak-Lojasiewicz 条件を満たす非凸目的関数に対して、DP-GD は n と p に対する依存性が有利な近似的過剰リスクを示す。
• このフレームワークは、滑らか/凸、高次元、およる一部の非凸設定における DP-ERM を統合し、従来の結果より厳密な境界を提供。