[論文レビュー] Element Level Differential Privacy: The Right Granularity of Privacy

Hilal Asi, John C. Duchi+1 more|arXiv (Cornell University)|Dec 5, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用数 9

ひとこと要約

この論文は、特定の単語や写真などの個々のデータ要素—つまり、ユーザー全体の寄稿ではなく特定のデータ要素—を保護する、洗練されたプライバシー定義である要素レベル微分プライバシー（ELDP）を導入する。隣接するデータセットを要素単位の差異に基づいて再定義することにより、ELDPは統計的推定や学習における高い有用性を実現しながらも、きめ細やかなプライバシー保証を維持する。理論的および実験的検証を通じて、深層ネットワークを含む大規模モデルにおけるプライベートヒストグラム推定およびM推定量の応用が示された。

ABSTRACT

Differential Privacy (DP) provides strong guarantees on the risk of compromising a user's data in statistical learning applications, though these strong protections make learning challenging and may be too stringent for some use cases. To address this, we propose element level differential privacy, which extends differential privacy to provide protection against leaking information about any particular "element" a user has, allowing better utility and more robust results than classical DP. By carefully choosing these "elements," it is possible to provide privacy protections at a desired granularity. We provide definitions, associated privacy guarantees, and analysis to identify the tradeoffs with the new definition; we also develop several private estimation and learning methodologies, providing careful examples for item frequency and M-estimation (empirical risk minimization) with concomitant privacy and utility analysis. We complement our theoretical and methodological advances with several real-world applications, estimating histograms and fitting several large-scale prediction models, including deep networks.

研究の動機と目的

• 古典的微分プライバシーの限界に対処する。これは、ユーザー全体の寄稿を保護するが、特定のデータ要素（例：ユーザーが特定の単語を入力したかどうか）のみが感受性を持つアプリケーションでは、過剰に厳格である可能性がある。
• ユーザー参加ではなく、個々のデータ要素（例：ユーザーが特定の単語を入力したかどうか）に関する推論に対して保護を提供する、新しいプライバシー定義「要素レベル微分プライバシー」を提案する。
• 感受性のないデータ要素に対するプライバシー制約を緩和することで、プライベート学習および推定における統計的有用性を向上させる。一方で、感受性のある要素については強い保証を維持する。
• ELDPにおけるプライベート推定および学習のための理論的基盤と実用的アルゴリズムを開発する。これには、アイテム頻度およびM推定量（経験的リスク最小化）の両方が含まれる。
• 実世界の応用を通じて、大規模ヒストグラム推定およびプライベート最適化を用いた深層ニューラルネットワークの学習を含む、アプローチの実証的検証を行う。

提案手法

• データ要素間のハミング距離（例：メッセージ内の単語カウント）に基づいて隣接データセットを再定義することで、要素レベル微分プライバシーを定義する。2つのデータセットがたかだか1つの要素で異なる場合、それらは隣接するとみなす。
• ユーザー間のデータの差異を構成する異なる要素の数に基づいた距離関数を導入することで、ユーザー単位ではなく要素単位でのプライバシー保証を可能にする。
• 要素レベルプライバシー予算に適合するノイズ注入を用いて、アイテム頻度（例：単語ヒストグラム推定）のプライベート推定手法を開発する。
• 勾配更新にノイズを組み込むことで、経験的リスク最小化のためのプライベートM推定量アルゴリズムを設計し、ELDPフレームワーク下でのプライバシーと有用性を分析する。
• 要素レベルプライバシー会計法を用いて、微分プライベート確率的勾配降下法を用いて、深層ニューラルネットワークを含む大規模モデルをELDPフレームワークで学習する。
• 集中不等式およびマルティングルールを用いて、プライベート推定量の期待誤差を評価し、プライバシーパラメータおよびデータ分布に適切な条件下で収束が成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを、ユーザー全体の寄稿ではなく、特定のデータ要素（例：特定の単語や画像）を保護するように再定義することは可能か？
• RQ2 古典的微分プライバシーと比較して、要素レベル微分プライバシーの理論的プライバシー保証と有用性のトレードオフはどのようなものか？
• RQ3 実用的応用を想定した要素レベル微分プライバシー枠組み下でのプライベート推定および学習アルゴリズムは、どのように設計できるか？
• RQ4 要素レベルプライバシーは、特に高次元設定下で、プライベート学習アルゴリズムのサンプル必要数および収束性にどのような影響を与えるか？
• RQ5 要素レベル微分プライバシーは、プライベートヒストグラム推定や深層ニューラルネットワークの学習といった実世界の応用で、どのように性能を発揮するか？

主な発見

• 要素レベル微分プライバシーは、古典的微分プライバシーよりもきめ細やかな粒度で意味のあるプライバシー保証を提供し、ユーザーが特定の単語を入力したかどうかの推論に対しても保護を提供する。
• 提案された枠組みにより、感受性のある要素のみを保護する必要がある場合に、ユーザー全体の寄稿を保護するためにプライバシー予算を浪費するのを回避できるため、プライベート推定タスクにおける統計的有用性が顕著に向上する。
• ELDP下でのプライベートヒストグラム推定は、ユーザー数に比べて異なる要素数が多い場合、古典的DPと比較してより低いノイズで正確な頻度推定を達成する。
• ELDP下でのプライベートM推定量および深層学習は、古典的DPよりもより許容できるプライバシーパラメータで、モデルの精度劣化を抑えつつ、競争力のある性能でモデルを学習できることを示している。
• 理論的分析により、ELDP下でのプライベート推定量の期待誤差は、要素数およびプライバシーパラメータに依存するレートで減少し、損失関数にややいなやなモーメント条件が満たされれば収束が保証される。
• 大規模データセットにおける実験的評価により、ELDPは中程度のプライバシー予算でも、深層ニューラルネットワークを許容できる精度で学習可能であり、古典的DPに比べて有用性に優れながらも、強いプライバシー保証を維持することが確認された。