[論文レビュー] The Cost of Privacy in Generalized Linear Models: Algorithms and Minimax Lower Bounds

Tianxi Cai, Yichen Wang+1 more|arXiv (Cornell University)|Nov 8, 2020

Privacy-Preserving Technologies in Data参考文献 51被引用数 12

ひとこと要約

本稿では、ノイズ付き投影勾配降下法および反復的ハードスレッディングを用いて、一般化線形モデル（GLMs）におけるパラメータ推定のための微分プライバシー手法を提案する。著者らは、スティンの補題に基づく新規な手法を用いて、プライバシー制約下でのミニマックス下界を導出し、近似的に最適な統計的性能を確立した。その結果、提案手法はサンプルサイズおよび次元数において対数因子を除き最適レートに達することが示された。

ABSTRACT

We propose differentially private algorithms for parameter estimation in both low-dimensional and high-dimensional sparse generalized linear models (GLMs) by constructing private versions of projected gradient descent. We show that the proposed algorithms are nearly rate-optimal by characterizing their statistical performance and establishing privacy-constrained minimax lower bounds for GLMs. The lower bounds are obtained via a novel technique, which is based on Stein's Lemma and generalizes the tracing attack technique for privacy-constrained lower bounds. This lower bound argument can be of independent interest as it is applicable to general parametric models. Simulated and real data experiments are conducted to demonstrate the numerical performance of our algorithms.

研究の動機と目的

• プライバシー制約下でも統計的精度を維持できる、一般化線形モデル（GLMs）におけるパラメータ推定のための微分プライバシー手法の開発。
• 提案手法の統計的最適性を評価するため、GLMパラメータ推定におけるプライバシー制約下のミニマックス下界を確立すること。
• 平均推定や線形回帰といった単純なモデルにとどまらず、より広範なGLMのクラスにまで、プライバシーと精度のトレードオフ分析を拡張すること。
• スパarsity仮定の下で高次元的プライベートGLM推定が可能であることを示し、ローカル微分プライバシー下での不可能性結果と対比すること。

提案手法

• 勾配にノイズを追加することで、$(\varepsilon,\delta)$-微分プライバシーを満たすプライベートな投影勾配降下法（アルゴリズム1）を構築する。
• 反復的ハードスレッディングフレームワークを高次元的スパースGLMに適応し、ノイズとスパarsity制約を組み込んで、プライバシーと収束性を維持する。
• 一般化線形モデルに適用可能な、トレーシングアタック法を一般化する、スティンの補題に基づく新規な下界技術を採用する。
• 低次元および高次元GLM設定の両方において、プライバシー制約下のミニマックス下界を導出し、提案手法の理論的最適性を確立する。
• 濃度不等式およびモーメントバウンドを用いて、微分プライバシー下での期待$\ell_2$推定誤差を分析する。
• GLMのスコア関数およびフィッシャー情報構造を用いて、プライバシー制約下でのパラメータ推定誤差のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 GLMにおける微分プライバシー推定は、近似的に最適な統計的精度に達することができるか？
• RQ2 GLMにおけるプライバシーと推定精度の根本的トレードオフは何か？ そして、サンプルサイズおよび次元数にどのように依存するか？
• RQ3 高次元的スパースGLMにおいて、プライベート推定は依然として可能であるか？ また、スパarsityはプライバシーコストを低減する役割を果たすか？
• RQ4 従来のトレーシングアタック手法を超える、新規な技術を用いて、プライバシー制約下のGLM推定に対するミニマックス下界をどのように導出できるか？

主な発見

• 提案されたノイズ付き投影勾配降下法は、低次元GLMにおいて$\ell_2$推定誤差が$\tilde{O}\left(\frac{d^{2}\log(1/\delta)}{n^{2}\varepsilon^{2}}\right)$に達することが示された。
• スパースパラメータが$s^*$-スパースである高次元的スパースGLMにおいて、ノイズ付き反復的ハードスレッディング法は$\ell_2$誤差が$\tilde{O}\left(\frac{(s^{*}\log d)^{2}\log(1/\delta)}{n^{2}\varepsilon^{2}}\right)$に達することが示され、スパarsityに線形依存、次元数に対数依存する特性が明らかになった。
• スティンの補題に基づく技術を用いて導出したミニマックス下界は、上界と対数因子を除き一致しており、提案手法の近似的最適性が裏付けられた。
• 下界技術はトレーシングアタックを一般化し、GLMに限らず一般パrametricモデルに対しても適用可能であり、より広範な理論的有用性を示唆している。
• シミュレーションおよび実データ実験により、提案手法の数値的性能と実用的妥当性が確認された。